序 一 


今天 是 端午 节 ， 又 称 诗人 节 ， 想 到 诗人 。 什 么 是 诗人 呢 ? 虽然 现在 欣赏 诗 的 机 会 比较 少 ， 然 而 在 大 学 时 代 读 了 不 少 雪 菜 、 天 
伦 、 普 希 金 等 诗人 的 诗 。 在 我 的 印象 中 ， 诗 人 是 浪漫 的 ， 充 满 着 理想 主义 色彩 ， 用 其 大 爱 之 心 、 用 其 智慧 的 言辞 引领 世人 走出 类 
悦 、 迈 向 光明 。 今 天 ， 在 这 个 特殊 的 日 子 为 《软件 测试 价值 提升 之 路 》 一 书写 序 ， 更 能 感觉 作者 有 着 诗人 般 的 情怀 。 作 者 没有 去 
写 云 服务 的 测试 ， 虽 然 作 者 也 曾 多 年 置身 于 云 服务 产品 测试 之 中 ; 作者 也 没 写 敏 捷 测 试 ， 虽 然 敏 捷 开发 模式 席卷 全 世界 ， 华 为 从 
2008 年 就 开始 推 敏捷 开发 。 作 者 却 追 求 朴素 又 古老 的 一 个 主题 -软件 测试 的 价值 ， 通 过 作者 在 华为 公司 十 几 年 软件 测试 的 历 
练 ， 来 呈现 如 何 实现 测试 价值 、 如 何 突破 传统 的 测试 价值 、 如 何不 断 提 升 测试 价值 之 路 。 而 在 整个 呈现 过 程 中 ， 没 有 说 教 ， 而 是 
靠 点 点 滴 滴 的 实践 ， 帮 助 我 们 打开 一 扁 重 新 认识 和 实现 软件 测试 价值 之 门 。 今 天 ， 当 我 们 面 对 移动 互联 、DevOps、 敏 捷 开 发 竺 
新 环境 的 挑战 ， 更 需要 把 握 对 软件 测试 价值 的 正确 理解 ， 才 能 摆脱 迷茫 ， 也 才能 发 挥 测试 人 员 应 用 的 价值 。 


我 和 作者 (华为 人 喊 她 杨 总 ) 已 认识 多 年 ， 这 完全 依靠 “软件 测试 ”。 杨 总 两 年 前 离开 华为 ， 在 离开 之 前 ， 她 已 是 华为 的 高 
级 测试 专家 。 为 了 理想 ， 合 弃 高 薪 职 位 ， 这 是 让 我 敬佩 之 处 。 最 近 一 年 我 和 华为 2012 实 验 室 研发 能 力 中 心 有 项 目 合 作 ， 得 以 有 机 
会 近 距 离 观 察 华 为 的 测试 、 接 触 华为 的 测试 人 员 ， 对 华为 的 测 斌 思想、 流程、 工具 以 及 具体 的 实践 才 有 了 比较 全 面 的 了 解 。 更 巧 
的 是 ， 我 和 杨 总 对 测试 的 认识 有 着 许多 的 共识 ， 如 关注 软件 测试 的 不 同 层次 的 价值 、 紧 抓 质 量 的 本 质 、 推 党 全 程 软件 测试 、 重 视 
测试 基本 能 力 的 建设 、 将 基于 模型 的 测试 (MBT) 置 于 自动 化 测试 的 最 高 层次 、 基 于 风险 的 测试 (RBT) 无 处 不 在 ， 等 等 。 因 
此 ， 我 非常 乐意 为 本 书 做 点 事情 一 谈 恋 自己 看 完 本 书 的 一 些 体会 和 收获 。 


华为 的 测试 水 平 在 国内 绝对 是 最 高 的 ， 没 有 之 一 。 华 为 的 测试 层次 清楚 、 流 程 成 熟 、 测 试 工具 自 成 体系 ， 最 终 交付 上 乘 的 产 
品质 量 ; 而 且 在 MBT、RBT、TPI (测试 过 程 改进 ) 、 探 索 式 测试 等 方面 都 有 着 多 年 良好 的 实践 。 在 阅读 本 书 的 时 候 ， 读 者 能 够 
从 多 个 方面 感受 到 博大 精深 的 华为 软件 测试 : 

1) 华为 强调 “ 赋 能 ”， 持 续 完善 测试 能 力 的 建设 体系 。 在 公司 层次 有 专门 的 团队 负责 整个 公司 的 测试 管理 ， 制 订 并 不 断 完 


善 测试 人 员 的 技术 任职 标准 ， 设 计 测 试 组 织 能 力 模型 、 测 试 工程 师 能 力 模型 和 DFX 测 试 能 力 提升 线路 等 。 


2) 华为 有 完善 的 测试 流程 ， 窗 盖 从 需求 到 产品 上 线 、 从 测试 输入 到 测试 输出 的 全 生命 周期 ， 并 在 流程 中 固化 了 测试 能 力 ， 
建立 多 个 测试 基线 ， 针 对 出 现 的 任何 严重 的 缺陷 实施 严格 的 RCA ( 根 因 分 析 ) 等 。 


3) 测试 类 型 丰富 ， 无 所 不 包 ， 如 功能 测试 、 性 能 测试 、 一 致 性 测试 、 兼 容 性 测试 、 可 靠 性 测试 、 安 全 性 测试 、 可 服务 性 测 
试 、 体 验 测试 、 互 操作 测试 、 实 验 局 测试 测试) 、 镜 像 测试 等 ， 其 中 蕴含 着 许多 优秀 实践 ， 如 建设 故障 模式 库 ， 采 用 故障 注入 
技术 来 进行 可 靠 性 测试 。 


4) 华为 对 自动 化 测试 、 测 试 工具 非常 重视 ,不 仅 有 和 较 大 的 投入 ， 在 PDU (产品 开发 部 ) /BU (业务 单元 ) 、 公 司 等 多 个 层 
次 都 建 有 测试 工具 开发 团队 ， 多 数 工具 是 自 研 的 ， 也 会 购买 一 流 的 测试 工具 ,而且 开展 了 大 量 的 MBT， 这 是 更 为 彻底 的 自动 化 
测试 。 

本 书 就 是 华为 测试 的 一 个 缩影 ， 它 的 价值 不 言 而 喻 。 

本 书 的 宏观 构思 有 其 独到 之 处 。 通 过 阐述 “谷歌 、 微 软 、 腾 讯 、 华 为 等 世界 一 流 公司 的 测试 角色 是 如 何 定义 的 ”， 来 帮助 读 
者 逐步 建立 测试 价值 的 概念 。 然 后 ， 从 价值 实现 的 起 点 、 打 破 成 见 开 始 ， 循 序 渐进 ， 告 诉 我 们 如 何 实现 软件 测试 的 基本 价值 以 及 
如 何不 断 实现 更 高 的 测试 价值 : 


1) 要好 门 前 雪 ， 即 实现 测试 的 基本 价值 一 有 缺陷 能 够 拦截 下 来 ， 能 够 提供 产品 质量 评估 所 需 的 支撑 数据 等 ; 


2) 展露 锋芒 ， 在 产品 的 质量 控制 中 ， 测 试 能 够 起 到 举足轻重 的 作用 ; 


3) 产品 交付 先锋 ， 基 于 良好 的 沟通 、 管 理 、 问 题 处 理 能 力 ， 在 演示 和 验收 等 产品 交付 活动 中 占据 主导 地 位 ; 主动 总 结 、 规 
范 各 项 工作 ， 把 后 续 项 目的 产品 交付 活动 引 向 正轨 。 


测试 的 价值 ， 不 仅 在 公司 内 部 体现 其 价值 从 扫 好 门 前 雪 到 展露 锋芒 ， 最 后 到 产品 交付 先锋 ， 而 且 可 以 从 客户 角度 来 看 测 
试 价值 是 如 何不 断 提升 的 : 


1) 使 质量 符合 设计 要 求 ， 发 现 不 符合 设计 要 求 的 缺陷 并 给 出 产品 的 质量 评价 。 
2) 使 质量 符合 客户 要 求 ， 从 客户 视角 发 现 质量 问题 ， 进 而 促进 研发 修改 问题 、 提 升 质量 。 


3) 使 质量 符合 客户 期 望 ， 从 客户 业务 场景 出 发 ， 发 现 需求 实现 与 客户 期 望 的 偏差 ， 改 善 需求 质量 ， 缩 短 需 求 提出 到 商用 的 
周期 。 


本 书 从 微观 构思 也 有 其 独到 之 处 。 要 么 是 先 给 出 案例 、 摆 出 问题 ， 再 从 问题 处 理 的 一 般 原 则 、 解 决 问题 的 具体 思路 、 常 用 方 
法 等 方面 展开 讨论 ; 要 么 是 先 给 出 价值 体现 ， 然 后 从 实现 其 核心 工作 、 方 法 和 工具 等 方面 展开 讨论 。 如 此 叙述 ， 真 正 能 够 帮助 我 
们 看 到 测试 工作 中 的 实际 问题 、 认 识 我 们 工作 的 价值 ， 并 能 帮助 我 们 彻底 地 解决 问题 ， 最 终 实现 我 们 的 价值 。 


本 书 虽 然 不 厚 ， 内 容 却 极其 丰富 ， 而 且 都 是 从 实践 中 提炼 出 来 的 。 书 中 精彩 的 内 容 数不胜数 ， 例 如 ， 全 流程 质量 保障 的 能 力 
模型 、 测 试 资产 管 治 参考 模型 、 客 户 信 息 与 研发 测试 关系 矩阵 、 客 户 信 息 脑 图 、 产 品 信 息 的 管 治平 台 、 测 试 目标 工作 场景 的 测试 
架构 、 用 数据 讲 好 测试 故事 、 商 业 模式 分 析 画 布 、 评 审 三 部 曲 、 搭 建 “ 过 墙 梯 ”、 缺 陷 分 层 拦截 、RBT 的 具体 实施 、 工 作 量 密度 
一 一 缺 陷 密 度 的 四 象限 分 析 、 缺 陷 快 速 修复 的 测试 架构 、 客 户 视角 的 产品 王 过程 质量 评估 、 用 人 金字塔 模型 编排 测试 报告 、 版 本 快 
速 稳定 + 质量 随时 可 视 等 。 本 书 还 讨论 了 一 些 读者 关注 的 热点 问题 ， 如 探索 式 测试 与 基于 脚本 的 测试 、 测 试 设计 与 自动 化 等 。 总 
而 言 之 ， 本 书 短小 精 悍 ， 浓 缩 的 都 是 精华 ! 


~ 


全 书 内 容 丰 富 多 于 


bo 


， 文 字 精 炼 、 语 言 补 素 ， 但 不 乏 山 默 ， 提 升 了 阅读 的 体验 : 


S 


` 测试 不 是 产 出 BUG 吗 ? 对 不 起 ， 你 产 出 的 BUG 已 经 改 掉 了 。 


. 测试 的 工作 : 看 不 到 产 出 、 说 不 清 投 入 、 显 不 出 能 力 。 


` 可 以 构筑 一 条 “河道 ”、 打 造 一 面 镜子 ， 生 动 形象 地 展示 产品 质量 屏障 。 


: 改进 的 浅水 区 、 改 进 的 攻坚 区 和 价值 的 拓展 区 。 


: 用 这 个 〈 质 量 、 效 率 、 成 本 上 的 ) 目标 找到 我 们 做 这 件 事情 的 同盟 军 ， 否 则 很 可 能 是 测试 内 部 的 自 娱 自 乐 。 
. 尽管 我 们 知道 这 些 手 段 根本 就 没 法 保证 缺陷 必然 被 发 现 ， 但 是 多 走 点 路 大 概 躁 到 牛 屎 的 几率 高 一 些 吧 | 
所 以 ， 相 信 读 者 拿 到 本 书 ， 学 有 所 乐 、 学 有 所 思 、 学 有 所 获 ， 还 会 经 常 重新 捧 起 本 书 ， 乐 此 不 疲 ， 温 故而 知 新 。 
同济 大 学 软件 学 院 教授 朱 少 民 


于 两 申 年 端午 闻 


序 二 


我 有 幸 做 了 多 年 杨 总 的 部 下 ， 与 杨 总 私下 是 很 好 的 朋友 ， 但 我 更 习惯 于 叫 她 杨 总 ， 哪 怕 她 已 不 再 是 我 的 主管 一 一 因为 这 
个 “总 ” 字 代 表 着 我 对 她 的 尊敬 。 在 公司 里 她 是 首席 测试 专家 ; 在 组 织 上 她 是 测试 领导 者 ; 在 测试 领域 里 她 是 经 验 丰富 的 测试 实 
践 者 ， 更 是 一 名 身体 力行 的 测试 先锋 ; 在 我 的 眼 里 ， 她 是 杰出 的 问题 解决 者 ， 在 她 身上 可 以 看 到 技术 和 管理 的 完美 结合 。 可 以 
说 ， 能 像 她 这 样 站 在 一 定 的 高 度 、 把 测试 拉 通 了 、 从 全 局 上 来 看 测试 价值 的 ， 并 不 多 见 。 这 本 书 的 问世 ， 是 测试 界 的 一 件 幸 事 。 


这 几 天 ， 认 认真 真 地 和 拜读 了 杨 总 的 这 本 新 书 ， 感 悟 颇 深 再 次 刷新 了 我 对 测试 的 认识 。 还 记得 ， 与 杨 总 共事 的 日 子 里 ， 一 起 


经 历 了 测试 部 门 的 数 次 拆 分 ， 从 大 测试 部 、 小 测试 部 到 一 体 化 小 团队 ， 测 试 念 拆 念 散 。 测 试 没有 了 强 有 力 的 组 织 保障 ， 很 是 痛苦 
迷茫 了 一 段 时 间 。 如 何 活 出 测试 的 价值 ? 这 是 当时 我 们 反复 追问 的 问题 。 那 时 ， 正 是 杨 总 引领 着 我 们 趟 出 了 一 条 道 来 。 本 书 中 提 
到 的 很 多 情境 、 做 法 ， 部 分 是 来 源 于 当时 的 实践 ， 胖 曾 一 起 参与 过 ,但 像 这 样 系统 性 地 阐述 出 来 还 是 第 一 次 。 通 过 这 本 书 ， 使 
我 明白 了 她 当时 一 些 做 法 背后 的 深意 ， 不 由 得 更 加 佩服 她 对 测试 价值 深远 的 思考 。 


在 我 看 来 ， 这 本 书 有 几 个 方面 的 创新 : 


1) 把 效率 纳入 了 测试 价值 的 视野 。 有 关 测 试 的 概念 有 不 同 的 定义 ， 林 林 总 总 ， 但 不 外 乎 围绕 质量 展开 ， 测 试 更 多 时 候 成 了 
质量 的 代名词 。 而 在 本 书 中 ， 始 终 把 效率 作为 测试 价值 体现 的 一 个 重要 方向 。 尽 早 验 证 、 快 速 验证 、 持 续 验证 、 缺 陷 及 时 反馈 、 
新 业务 匹配 测试 、 精 准 测 斌 等， 这些 都 是 测试 需要 考虑 的 。 可 以 说 ， 本 书 拓 展 了 测试 概念 的 外 延 。 


2) 打通 测试 、 研 发 、 客 户 之 间 的 关系 ， 将 测试 价值 领域 拓展 到 研发 上 下 游 环 节 。 比 如 : 开发 测试 、 代 表 客 户 测试 等 ， 都 是 
这 几 年 涌现 出 来 的 新 测试 模式 。 从 PDCA 的 观念 来 看 ， 检 查 或 测试 是 做 事 的 一 个 必 备 环节 。 所 以 从 这 个 角度 上 来 讲 ， 我 更 倾向 于 
把 测试 看 作 一 个 活动 ， 而 不 是 一 个 角色 或 职业 。 而 最 懂 测 试 的 我 们 ， 必 然 可 以 找到 价值 的 拓展 空间 。 


3) 质量 评估 层次 的 进 阶 。 本 书 中 把 质量 评估 细 分 成 三 个 层次 : 使 质量 符合 设计 要 求 ， 使 质量 符合 客户 要 求 ， 使 质量 符合 客 
户 期 望 。 传 统 的 测试 教科 书 上 把 测试 分 为 验证 与 确认 ， 分 别 对 应 于 设计 要 求 和 客户 要 求 ， 而 质量 评估 的 第 三 层次 


使 质量 符合 
客户 期 望 ， 则 是 教科 书 上 没有 提 及 的 。 想 客户 所 想 、 甚 至 想 在 客户 前 面 、 先 于 客户 发 现 其 内 在 需要 ， 是 真正 可 以 通过 测试 来 提高 
客户 满意 度 的 地 方 。 


4) 从 项 目 或 商业 成 功 的 视角 ， 来 判断 测试 价值 的 实现 。 从 研发 整体 来 看 ， 测 试 是 否 促成 了 质量 或 效率 的 提升 。 这 是 大 多 数 
测试 人 所 忽视 的 ， 包 括 我 自己 。 想 来 杨 总 在 这 一 点 上 的 感受 尤为 深刻 ， 想 当年 为 了 让 我 们 转变 思路 、 从 测试 框框 里 跳出 来 ， 没 少 
费劲 。 在 我 的 经 验 里 ， 经 历 过 测试 项 目 独 立 运 作 的 阶段 ， 有 专门 的 测试 流程 PTM、 专 门 的 测试 项 目 目标 ， 这 在 一 定 程度 上 促进 了 
测试 的 专业 化 运作 ， 但 也 造成 了 测试 与 开发 的 隔离 、 测 试看 待 问题 的 局 限 性 。 只 有 测试 目标 与 产品 目标 一 致 了 ， 测 试 的 价值 才能 
够 有 所 体现 。 当 然 ， 做 到 这 一 点 并 不 容易 ， 需 要 有 一 定 的 大 局 观 。 


5) 测试 价值 的 实现 ， 需 要 从 技术 、 方 法 、 流 程 、 管 理 、 平 台 等 整体 去 考虑 。 这 一 点 是 本 书 中 反复 强调 的 ， 可 以 说 是 杨 总 多 
年 测试 规划 中 得 来 的 宝贵 经 验 。 在 实践 中 ， 很 多 时 候 我 们 都 是 采用 这 样 整体 打包 的 方式 来 推出 测试 解决 方案 。 我 们 常常 说 测试 技 
术 难 以 落地 ， 可 能 不 是 技术 本 身 的 原因 ， 而 是 解决 方案 的 不 完整 。 仅 仅 只 有 一 个 技术 方案 ， 缺 少 技术 引进 后 对 现 有 流程 的 影响 分 
析 ， 或 现 有 平台 工具 上 需要 作 什 么 样 的 配合 等 这 样 的 分 析 ， 通 过 技术 实现 测试 价值 的 效果 会 大 打折 扣 。 


除了 测试 价值 的 探讨 之 外 ， 书 中 还 给 出 了 测试 价值 的 建议 实现 架构 、 实 现 路 径 、 理 想 工作 场景 等 。 当 然 ， 这 样 的 架构 并 不 是 
虚无 绿 绢 的 ， 其 中 大 部 分 是 经 过 实现 了 


断 进步 。 


的 或 正在 实现 的 。 透 过 这 样 的 测试 蓝图 ， 可 以 看 到 理想 中 的 测试 是 什么 样子 ， 从 而 牵引 不 


另外 ， 杨 总 在 本 书 中 有 一 个 贯穿 始终 的 观念 ， 即 测试 的 主动 性 。 主 动 承担 交付 责任 、 主 动 推 动产 品质 量 改 进 等 ， 这 些 都 是 测 
试 可 以 发 展 出 来 的 价值 。 测 试 具 有 天 然 的 优势 ， 我 们 手中 掌握 着 与 产品 质量 相关 的 数据 。 同 时 ， 测 试 做 久 了 还 有 一 个 优势 擅 


长 分 析 问 题 、 发 现 问题 。 结 合 这 些 ， 总 能 发 现 测试 价值 的 切入 点 。 当 然 这 种 主动 不 是 盲目 地 主动 ， 还 需要 注意 其 价值 导向 ， 思 索 
它 能 给 产品 带 来 什么 样 的 收益 ， 这 也 是 杨 总 在 本 书 中 所 要 传递 的 。 


杨 总 的 这 本 书 读 来 有 一 种 流畅 感 ， 那 是 因为 书 里 很 多 内 容 是 她 经 过 深思 熟 虑 、 烂 熟 于 心 的 。 但 文字 的 流畅 并 不 防 碍 这 本 书 的 
厚重 。 可 以 说 ， 这 是 一 本 值得 去 细 细 反复 研读 的 书 。 书 中 不 经 意 的 一 笔 ， 其 实 背 后 承载 的 可 能 是 一 个 很 大 的 解决 方案 ， 曾 经 实践 
过 ， 或 成 功 或 不 成 功 ， 需 要 用 心 的 读者 进一步 地 推 鼓 ， 如 果 仅 仅 是 停留 在 文字 上 面 ， 也 许 很 容易 滑 过 。 所 以 ， 建 议 读者 边 读 边 对 
照 测试 现状 边 反 思 ， 也 许 会 有 更 多 的 收获 。 


如 果 你 是 一 名 测试 行业 的 从 业者 ， 则 此 书 非常 适合 你 。 每 个 行当 的 存在 都 有 它 的 独特 价值 ， 测 试 也 不 例外 。 和 希望 测试 人 通过 
此 书 能 找 准 自 己 的 定位 ， 活 出 自己 的 精彩 。 


如 果 你 是 一 名 测试 教育 者 ， 此 书 中 有 大 量 让 富 的 、 有 深度 的 案例 ， 可 以 为 教学 提供 素材 或 有 价值 的 探讨 。 


如 果 你 是 一 名 测试 研究 者 ， 此 书 中 提出 了 很 多 第 一 手 的 测试 问题 及 一 些 工 程 上 的 解决 思路 。 你 也 许 会 从 中 发 现 一 些 值 得 研究 
的 问题 ， 或 为 你 的 研究 提供 一 些 借 鉴 。 


此 书 是 一 扇 窗 ， 打 开 了 一 个 更 为 广阔 的 测试 世界 ， 让 我 们 可 以 从 更 高 的 层面 去 看 待 测试 ， 用 更 宽 的 视角 去 寻求 测试 的 价值 。 


相信 你 看 完 这 本 书 会 有 一 种 “Ahar 阿 哈 ” 的 感觉 ， 原 来 测试 的 内 涵 是 这 么 丰富 ! 
张 玲玲 
前 华为 测试 专家 ， 高 级 工程 师 


2016 年 6 月 于 南京 


目 序 


从 华为 缮 职 以 后 ， 就 一 直 想 把 这 些 年 的 所 思 所 得 整理 出 来 ， 但 直到 一 年 半 以 后 才 开 始 动 笔 ， 主 要 是 不 想 写 成 和 那些 经 典 测试 
红 宝 书 雷同 的 作品 ， 一 方面 是 希望 自己 整理 的 内 容 更 独特 一 些 ， 另 一 方面 作为 一 个 半路 出 家 的 测试 工程 技术 人 员 ， 也 并 没有 把 经 
典 测 试 技术 的 那些 内 容 逐 个 实践 和 吃透 。 


直至 2014 年 年 初 ， 与 老 搭档 乔 姐 、 新 朋友 徐 林 林 一 起 准备 了 一 次 关于 软件 测试 技术 架构 的 演讲 ， 才 终于 有 了 我 一 直 想 要 的 思 
路 ， 于 是 就 有 了 这 本 书 。 


这 本 书 的 主题 是 测试 的 价值 ， 这 个 题目 是 近年 来 测试 业界 讨论 得 比较 多 的 一 个 问题 ， 有 人 甚至 喊 出 “测试 已 死 ”。 我 认为 ， 
老 的 测试 价值 依然 存在 ， 并 且 老 的 测试 价值 也 确实 成 就 了 我 们 这 一 代 测 试 人 ,但 是 这 些 价值 现在 已 经 被 认为 是 测试 该 做 到 的 ， 就 
像 一 个 开发 工程 师 ， 会 写 代 码 、 代 码 缺 陷 率 正常 一 样 ， 仅 仅 只 展现 这 些 价 值 ， 不 足以 成 就 新 一 代 测 试 工程师 的 职业 发 展 。 


由 于 华为 的 专业 测试 团队 成 立 比 较 早 ， 测 斌 工程师 也 就 比 业 界 的 其 他 从 业者 稍 早 一 点 遇 到 测试 价值 的 困惑 ， 而 华为 的 项 目 压 
力 为 突破 这 个 问题 提供 了 动能 ; 强大 的 内 部 技术 平台 为 突破 这 个 问题 提供 了 支持 ， 所 以 我 也 就 有 幸 见 证 了 测试 价值 开始 突破 的 方 
向 和 方法 ， 而 这 本 书 就 是 我 对 于 这 些 实 践 的 一 个 总 结 。 


希望 能 够 通过 这 薄 薄 的 书页 ， 给 测试 的 同行 们 一 些 灵 感 ， 我 相信 对 于 测试 价值 的 探索 只 是 刚刚 起 步 。 


本 书 分 为 10 个 章节 ， 以 测试 的 基础 价值 点 、 拓 展 价 值 点 为 主线 ， 分 析 价值 实现 的 主要 困难 和 常见 问题 ， 围 绕 困 难 和 问题 提出 
解决 思路 和 方法 。 全 书 的 内 容 都 是 围绕 测试 的 价值 实现 ， 对 于 实现 价值 需要 的 技术 只 重点 说 明了 方法 的 概念 和 实施 中 需要 注意 的 
问题 ， 并 没 展开 讨论 。 对 于 常见 的 、 可 以 通过 其 他 技术 书籍 或 者 在 网 上 搜集 资料 学 习 的 方法 和 技术 ， 没 有 对 方法 本 身 进 行 介绍 ， 
也 没有 给 出 可 供 学 习 的 案例 。 对 于 较 少 在 其 他 技术 书籍 中 提 到 的 方法 ， 则 介绍 得 略微 详细 一 些 。 


本 书 章 节 安 排 如 下 : 
第 1 章 ”介绍 几 个 知名 的 软件 公司 的 测试 团队 职责 ， 了 解 不 同 企业 、 不 同 产 品 对 测试 价值 的 期 望 有 所 不 同 。 
第 2 章 ”介绍 发 据 测 试 价值 时 ， 需 要 了 解 的 一 些 基本 原则 。 


第 3 章 “” 按 缺 陷 的 激活 条 件 ， 分 别 介绍 拦截 每 类 缺陷 的 方法 以 及 主要 手段 ， 如 测试 用 例 基 线 、 测 试 设计 、 测 试 类 型 、DEFX 测 


第 4 章 ”按照 测试 报告 包含 的 数据 类 别 ， 分 别 介 绍 每 类 数据 的 作用 和 分 析 以 及 使 用 方式 。 在 技术 和 方法 方面 ， 还 介绍 了 测试 
报告 结构 、RBT、DFX 测 试 数据 等 内 容 。 


第 5 章 ”按照 团队 能 力 模 型 ， 从 技术 方法 和 工具 、 流 程 、 组 织 及 人 员 、 平 台 几 个 方面 ， 对 测试 团队 应 具备 的 能 力 进 行 介绍 。 
第 6 章 ”对 测试 基本 价值 进行 总 结 ， 并 介绍 实现 这 些 价值 所 需 的 测试 架构 。 


第 7 章 ”介绍 从 研发 内 部 重要 的 质量 屏障 的 视角 ， 测试 可 以 突破 的 价值 点 ， 以 及 为 了 实现 这 些 价值 ， 在 需求 评审 、 测 试 设 
计 、 测 试 执行 和 自动 化 等 方面 的 关键 技术 。 


第 8 章 ”介绍 从 产品 交付 主要 角色 的 视角 ， 测 试 可 以 突破 的 价值 点 ， 以 及 为 了 实现 这 些 价 值 所 需 开 展 的 主要 工作 。 


第 9 章 ”概要 地 介绍 除了 产品 测试 ， 测试 团队 还 可 能 有 哪些 价值 。 
第 10 章 ”对 测试 拓展 价值 进行 总 结 ， 并 介绍 实现 这 些 价 值 所 需 的 测试 架构 与 工具 。 


本 书 对 常见 的 技术 、 方 法 、 工 具 介绍 得 很 少 ， 因 此 ， 并 不 适 测试 工程 师 作 为 入 门 读物 ， 也 不 太 适 合用 来 了 解 和 学 习 这 些 常见 


的 方法 和 工具 。 


本 书 比较 适用 于 在 测试 岗位 上 工作 了 2 年 以 上 的 测试 工程 师 ， 因 为 : 第 一 ， 他 们 对 测试 的 基本 概念 和 技术 有 一 定 了 解 ， 阅 读 
的 时 候 不 会 被 密集 的 测试 术语 难 住 ; 第 二 ， 他 们 在 实际 工作 中 也 遇 到 了 一 些 问 题 ， 能 够 从 书 中 找到 类 似 的 场景 进行 借鉴 ; 第 三 ， 
根据 我 的 经 验 ， 工 作 2~3 年 的 测试 工程 师 比 较 容 易 对 自己 工作 的 意义 和 价值 产生 怀疑 。 


当然 ， 如 果 你 已 经 在 测试 领域 浸 淫 了 10 年 以 上 ， 这 本 书 可 能 价值 也 不 大 ,但 是 如 果 你 浏览 之 后 愿意 就 测试 的 价值 和 笔者 讨 


论 ， 笔 者 非常 欢迎 ! 


测试 工程 师 从 进入 这 个 行业 到 成 为 资深 的 IT 人 有 无 数 种 可 能 的 发 展 途径 ， 其 中 的 一 种 可 能 ， 如 图 I 所 示 ， 即 至 始 至 终 在 测试 
领域 内 浸 洲 ， 不 断 锤 炼 测试 相关 的 工程 技术 能 力 和 个 人 素养 ， 最 后 成 长 为 测试 专家 。 书 中 对 此 图 更 详细 的 说 明 ， 参 见 5.4.2 节 。 


工作 2~10 年 的 测试 工程 师 ， 大 部 分 处 于 图 I 中 “特性 质量 保障 ” “项 目 质量 保障 ”“ 产 品质 量 保障 ”这 些 阶 段 。 以 “特性 质 
量 保 障 ” 为 主要 职责 的 工程 师 ， 可 以 重点 关注 本 书 第 二 部 分 “ 扫 门 前 雪 ”。 以 项 目 或 产品 质量 保障 为 主要 职责 的 工程 师 ， 可 以 参 
考 本 书 第 三 部 分 “展露 锋芒 ”。 
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图 I 测试 人 的 非典 型 职业 发 展 


在 写作 本 书 的 过 程 中 参考 了 Alan page 等 人 写 的 《微软 的 软件 测试 之 道 》、 朱 少 民 老 师 写 的 《全 程 软件 测试 》 等 书 ， 另 外 ， 亚 
历 山大 等 人 写 的 《商业 模式 新 生 代 》 对 我 打破 传统 思维 的 启发 也 很 大 。 


开始 写 这 本 书 的 时 候 ， 想 写 的 内 容 千 头 万 绪 ， 幸 而 朱 少 民 老 师 、 张 玲玲 老师 、 吴 怡 老 师 对 本 书 的 内 容 和 结构 提出 了 很 多 有 建 
设 性 的 建议 ， 也 给 了 我 完成 本 书 的 信心 ， 在 此 感谢 。 此 书 献 给 我 的 先生 和 儿子 ， 作 为 新 年 礼物 ! 


第 1 部 分 引子 


测试 工作 是 否 有 价值 ， 这 似乎 是 一 个 不 值得 讨论 的 问题 ， 因 为 几乎 所 有 的 软件 公司 都 有 测试 团队 ， 了 既然 一 个 以 盈利 为 目的 的 
组 织 ， 舍 得 为 了 测试 进行 投资 ， 那 么 测试 工作 就 一 定 是 有 价值 的 。 


但 是 另 一 方面 ， 无 论 是 从 业界 了 解 的 情况 ， 还 是 从 我 们 测试 团队 自身 看 ， 测 试 工程 师 转行 的 比例 都 高 于 同 级 别 的 开发 工程 师 
和 系统 工程 师 ， 这 些 转行 的 测试 工程 师 在 新 的 职业 道路 上 大 多 获得 了 更 高 职位 、 更 好 的 发 展 。 这 说 明 他 们 在 测试 岗位 上 的 发 展 受 
阻 ， 并 非 由 于 自身 的 素质 和 能 力 造成 的 ， 很 可 能 是 由 于 工作 的 价值 没有 得 到 肯定 。 


测试 的 工作 大 多 数 是 属于 破坏 性 的 ， 通 过 对 产品 的 各 种 攻击 操作 ， 检 验 产 品 是 否 符合 需要 。 而 软件 设计 、 开 发 工作 是 建设 性 
的 ， 主 导 了 产品 从 无 到 有 的 生产 过 程 。 公 司 的 盈利 最 直接 的 原因 就 是 建设 性 的 工作 成 果 一 一 产品 ， 能 成 功 销售 。 因 此 ， 由 于 这 种 
工作 性 质 ， 测 试 确实 是 一 个 相对 难以 做 出 价值 的 职业 。 


一 方面 研发 对 测试 的 投资 期 望 得 到 价值 回报 ， 另 一 方面 测试 已 经 做 出 的 工作 价值 没有 得 到 充分 认可 。 这 个 局 如 何 破 ? 这 就 是 
本 书 接 下 来 将 要 讨论 的 内 容 。 


第 1 章 “他 山 之 石 


测试 这 个 职业 从 诞生 之 日 起 ， 对 于 其 价值 的 探索 就 从 未 停止 过 ， 随 着 软件 技术 的 发 展 和 软件 应 用 范围 的 扩展 ， 一 方面 ， 测 试 
实现 传统 的 价值 遇 到 了 新 的 挑战 ; 另 一 方面 ， 研 发 对 测试 价值 也 有 了 新 的 期 望 。 


他 山 之 石 可 以 攻 玉 ， 在 讨论 测试 存在 的 价值 之 前 ， 先 看 看 测试 价值 走 过 的 路 ， 以 及 在 优秀 的 软件 公司 里 ， 测 试 人 员 都 承担 哪 
些 职责 ， 他 们 的 做 法 可 以 给 接 下 来 的 价值 讨论 带 来 哪些 启示 。 


1.1 测试 困 局 
在 我 的 工作 中 ， 经 常会 听 到 测试 经 理 诉 苦 说 工作 难 做 。 测 试 经 理 经 常 面 对 来 自 客户 、 产 品 经 理 、 研 发 经 理 ， 甚 至 测试 内 部 的 
质疑 : 
“ 产品 在 客户 那里 出 了 问题 ， 客 户 问 : 测试 究 竞 能 不 能 保证 质量 ? 
" 产品 上 市 延迟 了 ， 研 发 经 理 问 : 究竟 要 花 多 少时 间 做 测试 ? 
* 产品 架构 优化 、 改 变 开发 模式 、 采 用 新 技术 提升 了 开发 效率 ， 系 统 工程 师 问 : 测试 难道 就 没有 新 方法 同步 提高 效率 ? 
- 项 目 做 完了 ， 发 现 项 目 中 打杂 的 事情 多 数 是 测试 顶 上 ， 决 策 的 时 候 测 试 没有 话语 权 ? 
: 职位 评定 时 ， 测 试 工程 师 问 : 好 像 每 年 递交 的 任职 申请 中 改变 的 只 有 项 目 清 单 ， 难 道 这 些 年 就 是 不 断 的 重复 ? 
测试 工作 看 上 去 就 是 : 看 不 到 产 出 、 说 不 清 投入 、 显 不 出 能 力 (或 者 说 是 能 力 没有 进化 ) 。 
测试 面 对 来 自 各 方 的 对 工作 价值 的 质疑 时 ， 常 常 这 样 “ 反 击 ”: 


测试 不 是 产 出 bug 吗 ”对 不 起 ， 测 试 产 出 的 bug 已 经 改 掉 了 ， 我 曾经 和 几 个 测试 的 同事 合作 开发 过 自动 化 工具 ， 我 负责 开发 
的 模块 中 有 一 个 是 通信 模块 ， 有 一 次 一 位 同事 说 : hi， 你 做 的 通信 模块 好 牛 啊 ， 从 来 没有 出 过 问题 。 当 我 回忆 起 这 个 场景 时 ， 我 
理解 了 为 什么 发 现 bug 不 容易 被 记 住 。 如 果 开 发 工程 师 写 的 代码 被 调用 、 被 拷贝 ， 做 的 功能 被 使 用 时 ， 他 们 在 设计 、 实 现 上 精心 
的 考虑 ， 是 会 被 人 反复 看 到 、 赞 叹 的 。bug 呢 ? 如 果 发现 的 bug 是 考虑 了 新 的 要 素 ， 并 且 和 一 些 陈 年 顽疾 有 关 ; 或 者 发 现 的 一 个 
特别 的 bug， 在 后 来 的 特性 中 又 出 现 了 ， 那 么 测试 工程 师 对 测试 设计 的 精心 考虑 才 会 被 赞叹 。 但 是 这 样 的 机 会 显然 不 多 。 


这 个 版 本 发 现 了 1452 个 缺陷 ? 对 不 起 ， 这 个 数字 意味 着 什么 ? 是 表示 产品 质量 差 ? 测试 水 平 高 ? 测试 做 得 太 多 了 ? 或 者 其 
他 什么 意思 ? 


那 测试 提升 了 质量 啊 ? 其 实现 在 针对 质量 的 提升 ， 通 常 的 共识 是 ， 因 为 有 更 好 的 开发 工具 、 更 好 的 编程 语言 、 更 好 的 软件 重 
启 和 恢复 机 制 、 更 好 的 分 层 隔离 架构 、 更 好 的 测试 工具 .……. 而 在 这 一 路 上 ， 测 试 工程 师 本 身 的 贡献 少 得 可 怜 。 说 到 开发 工具 ， 测 
试 工程 师 很 少 使 用 这 些 工具 ， 与 这 些 工具 的 开发 和 测试 就 更 没有 关系 了 ; 说 到 开发 语言 ， 大 部 分 测试 工程 师 甚至 做 不 到 精通 一 门 
编程 语言 ， 更 不 要 说 开发 过 一 款 语言 了 ; 说 到 更 好 的 软件 重启 和 恢复 机 制 ， 这 主要 是 架构 和 设计 模式 的 演进 ， 跟 测试 关系 很 小 ; 


说 到 测试 工具 ， 大 部 分 测试 工程 师 在 使 用 这 些 工 具 ， 但 是 并 不 参与 工具 的 开发 和 推广 。 所 以 很 少 有 公司 把 质量 的 改善 归功 于 测试 
的 价值 。 


为 什么 要 测试 有 产 出 ”测试 不 是 蓝 军 吗 ”不 是 把 红军 攻 下 来 就 是 成 绩 吗 ” 随 着 软件 架构 的 演进 、 软 件 应 用 的 普及 ， 对 开发 和 
测试 的 这 个 红 蓝 军 的 隐喻 已 经 过 时 了 ， 过 去 主流 的 软件 是 用 于 军工 、 航 天 、 通 信 核 心 层 、 工 业 设 计 (autoCAD) 、 管 理 、 财 务 
等 ， 这 些 软件 是 针对 企业 的 需要 ， 一 旦 出 问题 影响 也 比较 大 ， 常 常 伴随 无 法 承担 的 经 济 或 人 身 损失 。 现 在 的 软件 已 经 渗透 到 各 行 
各 业 ， 渗 透 到 日 常生 活 ， 用 户 也 是 老 幼 妇 双 都 有 ， 由 于 基础 架构 的 改变 以 及 产品 成 本 结构 的 变化 ， 软 件 中 的 很 多 缺陷 不 再 会 造成 
无 法 挽回 的 损失 。 这 时 候 测试 还 死守 蓝 军 的 定位 已 经 不 合 时 宜 。 


不 仅仅 是 对 于 bug 价 值 的 理解 和 红 蓝 军 的 隐喻 不 合 时 宜 ， 一 些 测试 领域 认为 理所当然 的 “准则 ”也 一 样 不 合 时 宜 : 


: 能 证 明 有 问题 ， 不 能 证 明 没 问 题 。 测 试 可 以 显示 缺陷 的 存在 ， 可 以 减少 产品 中 存在 未 被 发 现 缺 陷 的 可 能 性 ， 但 由 于 穷尽 测 
试 是 不 可 能 的 ， 因 此 即使 在 测试 中 没有 发 现 缺 陷 ， 也 不 能 证 明 产 品 已 经 没有 缺陷 。 这 是 一 名 完全 正确 的 “废话 ”， 即 使 客户 同意 
这 个 观点 ， 他 也 会 质疑 : 为 什么 这 个 缺陷 没有 被 发 现 ， 明 明 是 在 正常 使 用 情况 下 就 暴露 出 的 缺陷 ， 并 不 需要 “穷尽 ”测试 。 


- 质量 是 设计 出 来 的 ， 不 是 测试 出 来 的 : 产品 能 够 达到 什么 样 的 质量 ， 在 架构 、 设 计 方 案 确 定 后 ， 就 已 经 决定 了 ， 不 可 能 通 
过 测试 活动 ， 让 产品 质量 有 本 质 的 提升 。 这 和 句 话 虽然 道 出 了 一 个 事实 ,但 是 听 起 来 更 像 一 个 逃避 责任 的 借口 。 测 试 之 所 以 存在 ， 
就 是 因为 人 是 会 犯错 的 ， 研 发 团队 更 希望 测试 能 够 在 错误 发 生 的 时 候 就 被 发 现 并 证 实 这 个 错误 ， 而 不 是 到 了 最 后 一 切 都 已 经 定型 


了 才 说 这 个 产品 不 行 。 


所 以 ,测试 之 所 以 遭遇 到 当下 的 困境 和 质疑 ， 很 大 一 部 分 原因 ， 就 是 测试 的 价值 定位 ， 以 及 在 这 个 价值 之 下 的 思维 逻辑 需 
跟 上 软件 发 展 的 步伐 。 


为 解决 这 个 困 局 人 们 采取 的 做 法 大 概 有 2 类 : 


1) 老板 说 什么 我 做 什么 。 研 发 经 理 说 客户 缺陷 太 多 了 ， 你 们 要 加 强 测试 设计 能 力 啊 ， 于 是 测试 工程 师 把 测试 方案 越 写 越 
细 ， 用 例 越 积 越 多 ， 尽 管 知道 这 些 手段 根本 就 没 法 保证 缺陷 必然 被 发 现 ， 但 是 多 走 点 路 大 概 踩 到 牛 屎 的 几率 高 一 些 吧 。 研 发 经 理 
说 测试 周期 太 长 了 ， 要 搞 自 动 化 啊 ， 于 是 测试 工程 师 引进 工 具 ， 把 自动 化 率 越 做 越 高 ， 尽 管 早 已 发 现 ， 自 动 化 对 测试 效率 其 实 没 
啥 贡献 。 研 发 经 理 说 为 啥 缺 陷 那 么 晚 发 现 ， 你 们 要 参与 到 前 端 去 啊 ， 于 是 测试 工程 师 参 与 需求 和 设计 评审 ， 尽 管 大 部 分 人 是 打 着 
评审 的 旗号 提前 学 习 了 一 下 特性 。 测 试 只 知道 按 研发 经 理 支 的 招 去 做 了 ， 却 根本 没有 关心 研发 经 理想 解决 什么 问题 。 这 种 思路 会 
是 什么 结果 呢 ? 问题 依旧 ， 因 为 这 些 意见 根本 就 是 外 行 指挥 内 行 ， 最 后 在 困 局 中 越 陷 越 深 。 


2) 主动 寻求 新 的 测试 价值 。 通 过 在 产品 测试 过 程 中 获得 的 数据 ， 利 用 对 产品 的 深入 掌握 ， 对 测试 的 深入 理解 ， 来 拓展 新 的 
职能 ,例如 : 主导 产品 的 指标 改进 ， 在 代码 管理 和 发 布 平台 (Cl、 沙 箱 、 灰 度 ) 中 内 建 质量 标准 ， 主 导 产 品 集成 ， 主 导 用 户 体验 
分 析 ， 用 验收 用 例 实 例 化 客户 需求 ， 主 管 验收 测试 活动 等 。 


我 认为 后 者 是 更 有 前 途 的 思路 ， 但 是 现在 走 在 这 条 路 上 的 还 是 一 些 先 锋 ， 属 于 个 别人 的 英雄 主义 冒险 。 我 希望 用 我 的 绵薄 之 
力 ， 使 这 方面 的 创见 越 来 越 多 ， 最 后 实现 对 测试 这 个 职业 的 新 的 价值 定位 。 


1.2 ”测试 价值 的 发 展 


对 于 测试 价值 的 认识 曾经 经 历 过 以 下 阶段 : 


证 实 。 测 试 就 是 证 明 在 哪些 情况 下 ， 产 品 可 以 正常 使 用 ， 这 个 价值 是 对 测试 价值 的 最 早 认 识 。 现 在 这 个 价值 已 经 属于 生产 环 


节 的 质 检 了 。 


证 伪 。 测 试 就 是 发 现 产 品 在 哪些 情况 下 存在 缺陷 ， 这 个 价值 是 测试 这 个 职业 目前 得 到 最 广泛 认同 的 价值 ， 但 也 是 这 个 价值 正 
在 局 限 测试 的 发 展 。 


缺陷 预防 。 测 试 就 是 防止 在 研发 的 各 个 环节 引入 缺陷 ， 最 终 使 产品 质量 得 到 提升 的 活动 。 这 个 价值 的 提出 大 概 始 于 20 世 纪 
90 年 代 ， 是 目前 测试 的 主流 核心 价值 之 一 ， 但 由 于 这 个 价值 的 实现 对 研发 能 力 有 非常 高 的 要 求 ， 很 少 有 测试 团队 或 者 个 人 能 
真正 发 挥 这 个 价值 。 


综 上 所 述 ， 测 试 的 价值 定位 ， 本 身 就 是 一 步 步 发 展 到 今天 的 。 同 样 ， 测 试 价值 还 会 继续 发 展 下 去 ， 而 且 很 有 可 能 ， 缺 陷 预 防 
只 是 测试 价值 的 一 个 分 支 ， 今 后 测试 价值 的 发 展会 是 多 样 化 的 。 


1.3 ”谷歌 的 软件 测试 


谷歌 的 软件 研发 特征 是 : 典型 的 互联 网 企业 ， 产 品 完全 是 自 运 营 ， 以 周 或 者 更 短 的 周期 发 布 版 本 。 有 创新 型 、 实 验 性 质 的 新 
业务 ， 也 有 平台 性 质 的 搜索 引擎 。 需 求 的 提出 并 非 客 户主 导 。 


开发 测试 比 是 20 : 1。 这 个 数据 从 很 多 渠道 都 可 以 看 到 ， 曾 有 产品 研发 经 理 用 这 个 数据 “鞭策 ”测试 经 理 ， 说 测试 应 该 提升 
能 力 。 但 是 测试 最 应 该 提升 的 是 能 力 吗 ”不 是 ， 是 定位 。 


测试 职位 的 名 称 : SDET (软件 开发 工程 师 ， 测 试 方向 ) 。 在 谷歌 ， 这 些 人 的 主要 职责 不 是 功能 测试 设计 、 执 行 以 及 自动 化 
实现 ， 而 是 以 下 几 点 : 


1) 帮助 开发 更 快 更 好 的 测试 。 谷 歌 有 一 个 “ 吃 自己 的 狗 粮 ”的 文化 ， 自 己 开发 的 功能 自己 测试 。 专 职 的 测试 工程 师 主 要 是 
根据 软件 的 功能 和 测试 内 容 ， 设 计 测 试 方法 ， 并 提供 测试 工具 ， 典 型 的 例子 是 谷歌 地 图 的 测试 工具 。 测 试 工程 师 还 负责 探索 和 引 
入 新 型 的 测试 思路 ， 帮 助 更 有 效 地 发 现 缺陷 ， 典 型 的 例子 是 探索 式 测 试 的 引入 。 


2) 帮助 产品 更 好 地 采集 使 用 信息 和 用 户 反 馈 。 采 集 使 用 信息 是 对 用 户 操作 过 程 的 数据 进行 性 能 和 易 用 性 分 析 ， 目 的 是 帮助 
分 析 业 务 达成 目标 的 瓶颈 是 什么 ， 比 如 分 析 用 户 放 弃 操作 的 比例 和 原因 。 更 好 地 采集 用 户 反 馈 ， 典 型 案例 是 谷歌 地 图 的 用 户 问 题 


报告 功能 ， 用 户 发 现 地 图 错误 时 ， 用 几 个 非常 简单 的 步骤 就 可 以 进行 缺陷 报告 。 为 什么 谷歌 的 测试 会 有 这 个 职责 ”我 认为 主要 因 
为 产品 是 自 运营 的 ， 这 使 得 研发 需要 主动 发 现 产 品 缺陷 ， 同 时 产品 的 发 展 、 新 需求 的 发 现 需要 从 产品 应 用 中 得 到 启发 。 


3) 安全 性 、 可 靠 性 、 性 能 等 专项 测试 。 这 些 测试 内 容 非常 专业 ， 在 谷歌 也 是 由 一 个 集中 的 专项 测试 团队 进行 测试 的 。 


谷歌 应 该 说 是 一 个 非常 成 熟 的 互联 网 公司 ， 互 联网 的 业务 特征 决定 了 这 个 组 织 对 一 般 功 能 性 缺陷 不 敏感 ， 但 是 对 商业 目标 是 
否 达成 十 分 敏感 ， 自 运营 决定 了 产品 的 缺陷 非常 容易 更 正 ， 文 化 决定 了 测试 工程 师 不 做 功能 测试 〈 其 实 ， 除 了 狗 粮 文化 ， 还 有 一 
个 组 织 机 制 也 许 更 天 键 ， 谷 歌 的 研发 团队 在 做 完 一 个 产品 后 ， 会 自由 重组 ， 信 誉 不 好 的 开发 者 很 快 就 会 被 组 织 淘汰 ) 。 


14 微软 的 软件 测试 


微软 的 软件 研发 特征 是 : 典型 的 大 型 传统 软件 企业 ， 软 件 完成 后 完全 部 署 在 用 户 的 环境 中 使 用 (微软 还 有 必 应 、Skype、 
OneDrive 等 自 运营 产品 ， 这 些 不 在 本 节 考 虑 之 内 ) ， 版 本 发 布 周期 半年 甚至 更 长 ， 产 品 有 非常 好 的 继承 性 ， 十 分 注重 在 发 布 前 


排除 软件 缺陷 。 属 于 领域 者 大， 开发 内 容 不 由 客户 需求 主导 。 


开发 测试 比 是 1 : 2 (裁员 之 前 ) ， 这 个 比例 在 测试 领域 家 喻 户 晓 ， 也 常常 成 为 很 多 测试 经 理 艳 姜 微 软 测试 的 主要 原因 。 但 这 
个 比例 真正 的 含义 是 ， 微 软 的 测试 工程 师 一 定 承担 了 很 大 的 责任 ， 因 为 开发 测试 比 完全 取决 于 公司 认为 有 多 少 事情 需要 测试 团队 
去 做 。 


测试 职位 的 名 称 : SDET (软件 开发 工程 师 ， 测 试 方向 ) ， 这 个 叫 法 是 微软 首先 提出 的 ， 现 在 似乎 已 经 成 为 北美 软件 测试 工 
程 师 的 标准 称谓 。 在 微软 ，SDET 的 主要 职责 和 大 多 数 软件 公司 的 测试 工程 师 的 职责 类 似 ， 包 括 : 


1) 保障 质量 。 和 谷歌 不 同 ， 微 软 的 SDET 的 主要 职责 就 是 保障 质量 。 因 此 他 们 会 做 各 种 类 型 的 测试 及 其 自动 化 。 既 包括 传统 
的 结构 化 测试 、MBT、 自 动 化 、DFX， 也 包括 以 找 bug 为 乐趣 的 探索 式 测试 。 微 软 非常 强调 自动 化 ， 这 个 对 于 继承 性 强 的 产品 是 
很 自然 的 要 求 。 在 微软 ， 开 发 对 测试 的 交付 有 点 像 “ 抛 过 墙 ” 的 方式 ， 只 要 开发 的 东西 通过 了 happy path， 接 下 来 就 主要 是 测 
试 的 工作 了 ， 当 然 微软 的 开发 工程 师 也 是 非常 重视 声誉 的 ， 不 会 因为 有 人 做 后 续 的 测试 就 不 对 自己 开发 的 代码 质量 负责 。 

2) 提升 研发 效率 。 和 谷歌 一 样 ， 微 软 的 SDET 也 致力 于 开发 各 种 工具 ， 从 全 流程 质量 管理 工具 ， 自 动 化 工具 ， 到 辅助 手工 
DFX 测 试 的 工具 ， 他 们 都 会 开发 。 在 软件 研发 领域 广为人知 的 每 日 构建 (Daily Build， 每 日 自动 对 代码 库 的 新 增 代 码 完成 单元 测 
试 、 编 译 ， 并 构建 生成 可 执行 文件 ， 自 动用 新 构建 的 可 执行 文件 更 新 测试 环境 ， 用 基本 功能 的 系统 测试 用 例 进行 冒 烟 测试 ) ， 微 
软 就 是 早期 的 实践 者 。 这 些 工具 由 普通 测试 工程 师 开 发 ， 内 部 也 有 平台 支撑 他 们 去 分 享 和 推广 。 微 软 的 工具 总 体 说 来 是 贴近 业务 
需要 ， 以 提升 自己 的 效率 和 质量 为 目的 ， 因 此 百花 齐 放 ， 据 说 光 MBT 的 工具 就 有 20 多 个 。 

微软 是 一 个 非常 成 熟 的 传统 软件 公司 ， 由 于 软件 的 生产 者 和 使 用 者 之 间 的 联系 比较 弱 ， 因 此 质量 是 非常 重要 的 ， 但 是 这 并 非 
是 说 不 能 容忍 任何 的 缺陷 ， 事 实 上 微软 对 软件 特性 有 质量 分 级 ， 不 同 级 别 的 质量 要 求 和 覆盖 要 求 非常 不 同 。[] 


四 这 是 Win10 之 前 的 情况 ，Win10 开 始 测试 团队 大 量 裁撤 ， 情 况 已 经 不 同 。 


1.5 ”腾讯 的 软件 测试 


腾讯 的 软件 研发 特征 是 : 典型 的 互联 网 企业 ， 产 品 完全 是 自 运营， 以 周 或 者 更 短 的 周期 发 布 版 本 。 有 追求 快 的 新 业务 ， 也 有 
平台 性 质 的 QQ。 需 求 的 提出 并 非 客 户主 导 。 属 于 领域 的 领先 者 但 并 非 先驱 ， 所 以 快 是 首要 要 求 。 


开发 测试 比 是 3 : 1。 这 是 电 商 产品 线 的 比例 情况 ， 其 他 产品 的 测试 团队 以 前 也 类 似 ， 但 近年 收缩 ， 外 包 的 比例 加 大 。 
测试 职位 的 名 称 : TE。TE 既 做 测试 也 做 工具 ， 主 要 职责 如 下 : 


1) 在 业务 上 线 之 前 尽 可 能 地 发 现 导 致 商业 目标 无 法 达成 的 缺陷 。 比 如 业务 不 能 正确 工作 ， 正 常 完成 操作 很 困难 ， 性 能 极 差 
等 ， 如 果 在 计划 发 布 时 间 点 上 没有 足以 致命 的 缺陷 ， 那 么 业务 就 会 进入 灰 度 发 布 。 灰 度 发 布 是 真正 质量 多 底 的 措施 ， 这 个 机 制 能 
将 缺陷 的 影响 控制 在 非常 有 限 的 范围 内 ， 最 大 限度 地 让 真实 用 户 参 与 测试 。 这 确实 是 最 经 济 的 做 法 ， 包 括 安全 性 方面 ， 腾 讯 给 白 
帽子 群 设置 安全 大 奖 的 做 法 绝对 是 四 两 拨 干 斤 。 而 维持 灰 度 发 布 机 制 的 正常 运作 ， 包 括 获 得 灰 度 发 布 后 的 使 用 信息 以 决策 是 否 进 
行 下 一 步 的 切换 部 署 ， 这 个 不 是 测试 的 职责 。 


2) 在 业务 测试 团队 之 外 ， 还 有 一 个 独立 的 体验 测试 团队 。 这 个 团队 由 非常 资深 的 测试 工程 师 组 成 ， 专 门 对 业务 的 体验 进行 
评估 并 促进 改进 。 由 于 业务 变化 非常 快 ， 很 多 团队 在 尝试 了 不 同 层次 、 不 同方 式 的 UI 自动 化 后 基本 上 放弃 了 这 个 技术 方向 。 腾 
讯 各 个 产品 线 的 测试 团队 也 自己 开发 工具 ， 用 来 提升 自己 的 效率 。 


3) QQ 平台 很 传统 。 在 腾讯 内 部 称 QQ 为 平台 ，QQ 平 台 有 传统 软件 的 特征 ， 测 试 的 价值 也 和 传统 软件 一 样 ， 侧 重 质量 保 


障 ， 也 强调 自动 化 和 DFX。 


腾讯 是 典型 的 互联 网 公司 ， 测 试 组 织 的 变革 和 职责 定位 也 还 在 探索 过 程 中 ， 电 商 和 QQ 平台 的 测试 比较 传统 ， 游 戏 则 完全 不 


1.6 ”华为 的 软件 测试 


华为 的 软件 研发 特征 是 : 典型 的 传统 软件 企业 ， 软 件 完成 后 完全 部 署 在 用 户 的 环境 中 使 用 ， 有 按 月 交付 的 业务 版 本 ， 也 有 半 
年 甚至 更 长 时 间 才 交付 的 基础 版 本 或 平台 版 本 ， 产 品 有 一 定 的 继承 性 ， 但 架构 重 构 也 不 是 小 概率 事件 (这 主要 是 因为 华为 还 是 电 
信和 领域 的 新 人 ， 对 这 个 领域 的 把 握 还 不 十 分 老道 ) ， 十 分 注重 在 发 布 前 排除 软件 缺陷 。 属 于 领域 限 随 者 ， 开 发 内 容 绝 大 部 分 由 客 
户 需求 主导 . 


开发 测试 比 是 2 : 1~10 : 1，2 : 1 是 比较 核心 的 平台 部 门 的 比例 ; 10 : 1 是 大 量 测试 外 包 的 业务 部 门 的 比例 。 如 果 加 上 外 包 一 
起 计算 ， 比 例 大 概 都 在 2 : 1~4 : 1。 这 个 比例 意味 着 测试 主要 精力 是 在 黑 盒 测试 上 ， 如 果 需 要 做 灰 盒 测试 ， 基 本 需要 1 : 1 才能 搞 


me | 


全。 


测试 职位 的 名 称 : TE、TSE (测试 系统 工程 师 ) 。TSE 是 比较 具有 华为 特色 的 角色 ， 这 个 角色 的 定位 历经 很 多 变化 ， 目 前 也 
还 在 变化 的 路 上 ， 详 细 内 容 参 见 5.4.4 节 “从 任职 资格 标准 的 演变 看 测试 价值 ”。 基 本 上 ， 在 重要 的 项 目 、 技 术 更 新 和 提升 、 
队 能 力 建设 中 都 可 以 找到 TSE 的 身影 。 在 华为 ， 测 试 工程 师 的 职责 如 下 : 


1) 保障 质量 。 这 是 华为 测试 最 基本 的 职责 ， 因 此 非常 强调 结构 化 测试 ， 对 自动 化 也 非常 推崇 ， 即 使 是 界面 自动 化 也 从 未 放 
弃 。 可 靠 性 和 性 能 的 技术 积累 比较 丰富 ， 其 他 DFX 维 度 的 实践 也 比较 多 ， 但 还 没有 和 牛人 出 现 。MBT 的 实践 在 部 分 继承 性 好 的 产 
品 取 得 了 成 功 。 


2) 交付 。 面 向 客户 交付 的 验收 测试 活动 ， 是 测试 工程 师 晋 升 的 摇篮 之 一 。 如 果 一 个 产品 质量 好 ， 那 多 半 得 益 于 专项 整改 、 
架构 优化 、 开 发 工具 优化 ， 以 及 CI 标准 严格 执行 。 如 果 一 个 产品 质量 不 好 ， 测 试 多 半 是 有 连带 、 甚 至 是 主要 责任 的 。 所 以 只 有 部 
分 测试 工程 师 的 晋升 ， 是 由 于 在 保障 质量 上 做 得 出 色 。 而 针对 验收 一 次 性 通过 采取 的 实例 化 需求 、 现 场 测试 自动 化 、 现 场 测试 流 
程 优化 等 也 得 到 了 比较 广泛 的 认可 ， 成 就 了 一 些 测试 工程 师 。 华 为 研发 对 测试 还 有 其 他 要 求 ， 比 如 : 代表 客户 进行 同类 产品 质量 
和 体验 的 评估 〈 竞 品 分 析 ) ， 从 问题 出 发 驱动 产品 质量 改进 (产品 商用 的 泪 颈 分 析 ) ， 提 升 研发 效率 (全 面 提 升 自动 化 ， 并 用 于 
研发 各 环节 ， 提 升 整体 效率 ) 等 ， 这 些 方面 的 成 功 实践 还 是 少数 案例 ， 并 不 普遍 。 


3) 公司 大 平台 (公司 级 工具 开发 和 研发 能 力 提 升 团 队 ) “搞定” 流程、 工具、 技术 更 新 。 华 为 非常 强调 集团 作战 和 经 验 传 
承 ， 认 为 固化 为 流程 、 模 板 、 工 具 就 能 减少 对 人 的 依赖 ， 因 此 有 一 个 非常 重量 级 的 公司 大 平台 ,流程 基本 上 是 公司 层面 定义 的 ， 
产品 只 能 在 规定 的 范围 内 定制 ， 定 期 会 进行 流程 合 规 的 审计 。 测 试 工具 的 大 框架 、 支 撑 流 程 、 管 理 (缺陷 、 用 例 、 实 验 室 、C1) 
和 度量 的 工具 基本 上 是 大 平台 开发 的 ;而 自动 化 、 性 能 、 可 靠 性 和 MBT 工 具 则 是 由 产品 线 或 者 产品 测试 团队 开发 的 。 大 平台 也 
试图 统一 这 些 工 具 ， 但 是 目前 没有 成 功 。 这 种 大 平台 在 同业 中 基本 上 没有 见 到 过 。 


华为 测试 的 组 织 和 定位 不 断 变 革 ， 至 今 仍然 不 断 变 化 ， 由 于 开始 “折腾 ”的 早 一些 ， 今 天 才能 有 些许 经 验 来 分 享 。 后 面 关 于 
测试 应 有 的 价值 的 思考 ， 是 测试 经 理 们 和 产品 研发 的 领导 们 不 断 沟通 、 实 践 后 的 结果 。 


1.7 ”优秀 软件 公司 测试 团队 职责 的 局 示 


表 1-1 典型 软件 公司 的 测试 团队 职责 


公司 行业 地 位 
SDET 一 一 软件 
谷歌 开发 工程 师 ， 测 信 ， 馈 ; 9 运营 行业 领导 者 


试 方 回 3 ) 安全 性 、 可 靠 性 、 性 能 等 
专项 测试 


SDET 一 一 软件 , 
1 ) 保障 质量 ; 


微软 开发 工程 师 ， 测 | 1 :2 (裁员 之 前 ) oa 运营 | 行业 领导 者 
ee 之 亲 | ，) 提升 研发 效率 者 


试 方 回 

1 ) 尽 可 能 地 发 现 导致 商业 目 

本 标 无 法 达成 的 缺陷 ; 可 跟随 者 

腾讯 人 运 各 a 
2 ) 体验 测试 ; 领先 者 
3 ) QQ 平台 测试 侧重 质量 保障 
1 ) 保障 质量 ; 

2 ) 面向 客户 交付 的 验收 测试 ，| ，、 ， 。 | 跟随 者 

凡 3 ) 多 级 工具 开发 团队 共同 完 | 领先 者 

成 流程 、 工 具 、 技 术 更 新 
通过 这 些 软件 公司 的 测试 团队 职责 ， 可 以 看 出 以 下 几 点 : 
1) 产品 的 特点 和 测试 的 职责 有 关 : 如 果 产 品 是 自 运营 的 ， 首 先 ， 用 户 使 用 问题 可 以 第 一 时 间 反 馈 到 研发 团队 ; 其 次 ， 研 发 


团队 可 以 通过 灰 度 发 布 、 沙 箱 等 手段 控制 缺陷 的 影响 范围 ， 降 低 缺 陷 的 风险 ; 最后， 修改 缺陷 以 后 ， 上 线 的 过 程 不 会 太 繁琐 。 缺 
陷 生 存 的 时 间 较 短 ， 可 以 容忍 一 部 分 缺陷 在 产品 上 线 之 后 被 客户 发 现 。 因 此 自 运 营 的 产品 研发 团队 对 功能 缺陷 并 不 十 分 敏感 ， 也 
没有 强调 测试 应 该 保障 质量 。 这 些 测试 团队 通常 具有 较 强 的 工程 能 力 ， 能 够 帮助 产品 在 保证 基本 功能 正确 的 前 提 下 ， 尽 可 能 快速 
地 发 布 产 品 ， 有 些 团队 还 在 “更 快 获知 客户 的 问题 和 体验 ”上 进行 创新 ， 帮 助 提 升 运营 维护 的 效率 。 


如 果 产 品 是 客户 运营 的 ， 研 发 团队 和 产品 用 户 之 间 的 联系 比较 弱 ， 产 品 缺 陷 的 有 反馈、 确认 和 修改 的 链条 比较 长 ， 产 品 发 布 后 
发 现 的 缺陷 ， 其 修复 成 本 会 很 高 。 因 此 研发 团队 强调 测试 应 该 保障 质量 ， 尽 可 能 减少 发 布 产品 的 缺陷 ， 降 低 研 发 和 维护 的 成 本 。 


2) 测试 团队 规模 和 测试 的 职责 有 关 : 以 产品 日 常 的 功能 测试 为 主要 职责 的 团队 ， 无 论 是 否 肩负 了 “保障 质量 ”的 职责 ， 都 
会 需要 比较 多 的 测试 工程 师 。 而 只 要 做 产品 日 常 的 测试 ， 无 论 能 覆盖 的 学 围 、 能 达到 的 深度 是 什么 ， 都 或 多 或 少 地 承担 了 质量 目 


标 o 


3) 测试 工具 开发 测试 是 测试 团队 绕 不 过 去 的 工作 : 并 非 所 有 的 测试 团队 都 以 产品 日 常 的 测试 为 主要 职责 ， 但 几乎 所 有 的 测 
试 团 队 都 进行 工具 的 开发 ， 无 论 是 为 了 解决 测试 手段 ， 还 是 为 了 提升 效率 。 在 测试 的 工作 中 总 是 会 发 现 : 要 不 就 是 没有 合适 的 工 
具 ; 要 不 就 是 现 有 的 工具 还 需要 一 些 二 次 开发 ， 总 之 ， 每 个 测试 工程 师 都 需要 一 定 的 工具 开发 能 力 。 


第 2 章 ”价值 实现 的 起 点 


为 了 实现 新 的 价值 ， 测 试 工程 师 首先 需要 改变 观念 、 看 清 环 境 。 


本 章 将 要 讨论 的 是 ， 打 破 哪些 已 经 不 适应 现在 软件 开发 需要 的 “准则 ”， 明 确 需要 在 什么 样 的 环境 下 、 瞄 准 什么 目标 来 实现 
测试 的 价值 。 


2.1 ”首先 打破 一 些 弟 规 


在 讨论 测试 的 价值 的 时 候 ， 首 先 需要 破除 一 些 “ 成 见 ”。 这 些 思 维 逻 辑 从 测试 成 为 一 个 职业 起 就 一 直 存 在 于 测试 工程 师 的 潜 
意识 里 ， 但 是 这 些 逻 辑 也 是 在 寻求 测试 新 价值 时 的 障碍 。 


测试 是 测试 团队 的 事 。 这 里 不 准备 论证 开发 也 要 做 测试 ， 而 是 说 需要 打开 视野 ， 除 了 开发 ， 事 实 上 研发 经 理 、 产 品 经 理 、 客 
户 、 用 户 都 可 以 做 测试 。 测 试 工程 师 可 以 专注 于 设计 如 何 利 用 这 些 资 源 进行 测试 ， 以 及 怎么 根据 回馈 的 信息 做 出 对 质量 的 评估 ， 
做 出 下 一 步行 动 的 判断 。 


测试 最 核心 的 就 是 找 bug，bug 找 得 越 彻 底 越 好 。 测 试 最 基础 的 是 找 bug， 但 需要 根据 风险 找 最 有 价值 的 bug， 管 理 、 跟 
踪 、 报 告 、 排 除 风 险 将 是 核心 ， 如 果 没 有 风险 就 可 以 不 测试 。 通 常 测试 团队 的 组 扩建 都 是 以 质量 劣化 为 契机 的 ，bug 只 是 劣化 的 
表象 ， 根 本 的 原因 是 缺乏 对 风险 的 有 效 管理 。 


测试 团队 是 做 研发 内 部 测试 的 团队 。 测 试 对 产品 质量 有 最 直接 的 、 第 一 手 的 信息 ， 因 此 ， 测 试 以 外 的 研发 环节 中 ， 和 质量 相 
关 的 活动 都 有 测试 的 用 武之 地 。 测 试 对 产品 的 环境 、 使 用 、 约 束 和 限制 、 存 在 的 陷阱 都 很 熟悉 ， 因 此 ， 测 试 有 条 件 在 面 对 客 户 的 
体验 测试 、 验 收 测试 、 产 品 上 线 等 活动 中 实现 自己 的 价值 。 


2.2 ”匹配 新 的 业务 要 求 


这 些 年 软件 发 生 了 什么 变化 ?前 面 的 章节 已 经 提 到 ， 软 件 的 应 用 已 经 从 特定 的 行业 渗透 到 了 各 行 各 业 ， 包 括 日 党 生活。 软件 
的 用 户 已 经 由 专业 人 员 扩 展 到 了 社会 上 的 每 一 个 人 。 所 以 对 于 软件 至 少 有 以 下 几 个 特点 是 需要 测试 去 适应 的 : 


* 推出 快 。 这 是 一 个 快 鱼 吃 慢 鱼 的 时 代 ， 即 使 产品 面 对 的 是 行业 市 场 ， 也 会 面临 着 客户 今天 想 出 来 的 主意 ， 明 天 就 想 看 到 东 
西 的 紧迫 感 。 所 以 以 前 的 软件 公司 要 过 CMM 认 证 ， 现 在 讲 的 是 敏捷 ， 而 测试 需要 具有 适应 这 种 开发 模式 的 工具 、 方 法 和 组 织 结 
构 。 


` 变化 频繁 。 跟 着 用 户 的 需求 走 ， 而 不 是 跟着 标准 走 ， 这 是 现在 软件 的 特点 。 用 户 只 要 不 停止 思考 ， 需 求 就 不 会 停止 进化 。 
软件 架构 更 新 升级 的 周期 一 般 不 超过 2 年 ， 新 架构 要 继承 所 有 的 老 特 性 ， 而 且 还 会 在 研发 效率 、 性 能 、 可 靠 性 、 体 验 、 成 本 等 的 
某 一 个 或 几 个 方面 有 飞跃 ， 测 试 也 需要 具备 相应 的 验证 和 评估 能 力 。 


* 接口 杂 。 现 在 的 软件 都 倾向 于 让 用 户 在 自己 的 平台 上 集成 需要 的 全 部 信息 ， 这 样 用 户 的 体验 才 是 最 好 的 ， 也 才 会 有 黏 性 ， 
但 是 这 样 也 意味 着 后 合 的 接口 会 非常 多 ， 这 些 接口 通常 是 非 标准 的 ， 而 且 并 非 稳 定 不 变 。 繁 杂 的 接口 ， 对 测试 使 用 的 模拟 工具 、 
自动 化 工具 、 接 口 捕 获 和 分 析 工 具 提 出 了 很 大 的 挑战 。 


“ 开放 性 。 大 多 数 的 软件 都 有 面向 互联 网 用 户 的 客户 端 ， 这 样 一 来 ， 软 件 的 用 户 既 有 内 部 专业 人 员 ， 也 有 普通 互联 网 用 户 或 
者 内 部 的 一 般 操 作 员 。 对 测试 而 言 ， 这 意味 着 应 用 场景 会 更 复杂 ， 安 全 性 的 挑战 也 会 更 大 。 


" 新 技术 。 不 管 是 否 愿 意 ， 这 些 年 一 些 新 的 技术 概念 已 经 冲 进 了 软件 圈子 每 个 人 的 视野 ， 如 ， 云 测试 、 探 索 式 测试 、 极 速 测 
试 、 基 于 模型 的 测试 (Module based testing，MBT) 、 基 于 风险 的 测试 (Risk based testing，RBT) 、 测 试 过程 改 进 (Test ptocess 
improvement，TPI) ， 以 及 各 种 各 样 号 称 多 快 好 省 的 测试 工具 等 。 如 果 测 斌 工程 师 不 能 比 其 他 研发 成 员 更 早 剥 开 这 些 名 词 的 本 


质 ， 就 会 显得 不 思 进 取 。 


. 重 体验 。 很 多 并 不 具备 基本 计算 机 知识 、 电 脑 操 作 水 平一 般 而 并 不 熟悉 的 人 成 为 了 软件 用 户 ， 软 件 的 体验 设计 也 没有 形成 
普 适 性 的 所 谓 的 “22 条 和 军 规 。 。 对 体验 的 验证 也 必须 有 新 的 思路 。 


2.3 面向 企业 商业 成 功 


判断 测试 将 要 进行 的 实践 是 否 在 创造 新 的 价值 ， 标 准 就 是 这 个 实践 对 企业 必然 会 天 心 的 3 个 方面 一 质量、 成本、 效率 ， 是 
否 有 帮助 。 测 试 需要 从 这 个 本 质 出 发 ， 看 看 自己 的 工作 对 质量 、 成 本 、 效 率 的 显 性 贡献 ， 即 以 测试 这 一 角色 为 主 的 贡献 在 哪里 。 
这 里 想 强 调 “ 显 性 ”这 两 个 字 ， 意 味 着 不 打算 去 摆弄 那些 通过 复杂 计算 得 到 的 数据 ， 比 如 缺陷 提前 发 现 对 成 本 的 贡献 。 在 我 的 经 
验 中 ， 通 常 研 发 或 产品 的 领导 并 不 会 质疑 这 些 数据 ， 但 是 这 些 数 据 无 法 促使 他 们 支持 加 大 对 测试 的 投资 。 


那么 ， 产 品 的 领导 最 重视 什么 呢 ? 显然 是 “企业 的 商业 成 功 ”。 企 业 的 商业 成 功 ， 落 实 到 研发 体系 ， 就 是 需要 研发 提升 质量 
和 效率 ， 降 低 成 本 。 测 试 团队 选择 做 一 项 改进 或 者 引进 一 种 技术 ， 首 先 就 要 确认 所 做 的 工作 在 研发 质量 、 效 率 、 成 本 上 的 目标 。 
并 且 找 到 认可 这 个 目标 的 “同盟 军 ” ( 指 产 品 团队 中 ， 愿 意 投 入 这 项 工作 的 、 测 试 以 外 的 角色 ) ， 否 则 很 可 能 是 测试 内 部 的 自 娱 
自 乐 。 让 我 印象 最 深刻 的 案例 是 RBT (基于 风险 的 测试 ) 的 第 一 个 应 用 项 目 ， 这 原本 是 一 个 和 研发 整体 效率 非常 密切 的 技术 ， 但 
是 部 分 产品 在 应 用 的 时 候 只 强调 了 用 于 识别 测试 重点 ， 结 果 市 场 代表 、 系 统 工程 师 、 开 发 工程 师 都 不 愿意 参与 到 风险 的 识别 中 ， 
使 RBT 流 于 形式 ， 没 有 发 挥 应 有 的 作用 。 


我 认为 ， 离 线 发 布 的 产品 ， 可 以 考虑 确定 产品 质量 方面 的 目标 ， 例 如 彻底 杜绝 某 一 类 缺陷 遗漏 到 客户 环境 中 
产品 ， 可 以 考虑 确定 成 本 方面 的 目标 ， 例 如 ， 用 户 问题 快速 地 察觉 、 复 现 和 修复 ， 最 大 限度 减少 缺陷 带 来 的 损失 
来 抢占 先 机 的 产品 ， 应 该 制订 效率 方面 的 目标 ， 例 如 使 用 RBT 聚 焦 主 要 应 用 场景 ， 缩 短 研 发 周期 。 


等 。 在 线 发 布 的 
等 。 以 快速 发 布 
总 之 ， 创 造 测试 的 价值 需要 “匹配 新 的 业务 要 求 ， 面 向 企业 商业 成 功 ”， 就 是 要 测试 在 产品 推出 快 、 变 化 频繁 .…… 的 前 提 
下 ， 找 到 由 测试 角色 主导 来 实现 的 、 在 质量 、 成 本 、 效 率 上 的 “ 显 性 ”价值 。 以 这 些 价值 来 带动 团队 能 力 的 提升 乃至 个 人 的 发 

展 。 


24 寻找 价值 的 最 佳人 选 是 自己 


企业 调整 测试 投资 的 根本 原因 通常 是 : 减少 年 度 操 作成 本 ， 加 速 上 市 ， 提 高 产品 质量 和 服务 ， 保 证 与 法 律 、 法 规 的 一 致 。 

但 是 以 下 内 容 经常 以 问题 的 形式 抛 给 测试 团队 : 

- 测试 结果 数据 不 完整 ， 测 斌 结果 和 客户 使 用 的 感知 不 一 致 。 测 试 的 结论 是 功能 正确 了 ， 但 是 到 客户 那里 有 基本 功能 验收 不 
通过 ; 测试 说 性 能 能 达到 100， 但 客户 说 到 60 就 不 能 用 了 。 在 这 些 情况 下 ， 最 直接 的 反应 就 是 ， 产 品 到 底 有 没有 经 过 测试 ! 测试 


工程 师 就 算 有 千 百 条 理由 去 解释 发 生 偏差 的 原因 ， 都 会 显得 苍白 无 力 ， 如 果 发 生 的 概率 高 ， 就 会 直接 导致 客户 和 研发 团队 对 测试 
的 不 信任 。 


:测试 太 贵 。 尽 管 测 试 人 员 认为 自己 没有 充足 的 时 间 和 资源 ， 但 是 研发 的 设备 投资 大 部 分 是 给 测试 使 用 的 ， 进 行 成 本 控制 时 
就 必然 会 考虑 削减 这 部 分 开支 。 有 一 段 时 间 ， 某 产品 深 受 兼容 性 的 困扰 ， 一 个 版 本 上 线 ， 总 是 会 在 几 个 客户 那里 出 现 原 有 功能 出 
错 的 情况 。 于 是 我 们 找 思 科 的 专家 咨询 ， 他 们 说 思科 的 测试 不 考虑 成 本 ， 在 实验 室 有 所 有 大 客户 的 1 : 1 镜像 环境 ， 产 品 上 线 前 在 
镜像 环境 上 全 部 验证 一 遍 。 能 像 思 科 这 样 采 用 土 察 战术 的 公司 极为 有 限 ， 更 多 时 候 还 是 需要 面 对 成 本 控制 的 压力 的 。 


: 测试 太 花 时 间 。 版 本 到 了 计划 的 发 布 时 间 ， 测 试 还 没有 做 完 ， 这 在 我 经 历 过 的 项 目 中 并 不 少见 。 尽 管 测试 经 理 都 认为 ， 并 
非 测 试 这 个 环节 太 花 时 间 ， 而 是 前 面 的 环节 延期 ;或 者 前 面 虽然 卡 住 了 时 间 点 ,但 是 留 了 一 堆 未 闭环 的 问题 ， 导 致 测试 甚至 无 法 
写 出 确切 的 用 例 ; 或 者 测试 所 需要 的 环境 、 用 户 数据 没有 到 位 ; 或 者 缺陷 太 多 、 修 改 不 及 时 ， 这 些 都 会 使 测试 无 法 维持 正常 的 效 
率 。 但 是 ， 如 果 在 版 本 已 经 延期 的 情况 下 ， 测 试 经 理 用 这 些 理由 说 明 延 期 的 原因 ， 就 只 能 是 徒劳 的 解释 而 无 法 解决 了 。 


: 对 于 产品 质量 和 风险 ， 测 试 没有 提供 有 价值 的 信息 和 建议 。 最 常见 的 现象 是 ， 在 版 本 发 布 的 时 候 测试 给 出 了 一 堆 数 据 ， 比 
如 发 现 了 多 少 缺 陷 ， 花 了 多 少 人 力 ， 性 能 指标 到 达 多 少 等 ， 但 是 决定 要 不 要 发 布 的 时 候 根 本 不 看 这 些 数据 ， 因 为 这 些 数 据 根本 没 
有 告诉 研发 主管 产品 是 不 是 能 发 布 ， 有 什么 风险 ， 还 需要 做 哪些 后 续 动 作 等 。 也 就 是 说 ， 测 试 给 出 的 报告 ， 既 不 能 支撑 结论 的 给 
出 ， 也 没有 建议 的 措施 ， 但 研发 经 理 实际 上 是 期 望 测试 给 出 有 价值 的 数据 和 建议 的 。 有 一 个 研发 经 理 说 过 ， 他 最 欣赏 的 一 个 测试 
经 理 ， 每 次 在 发 布 的 时 候 都 直接 告诉 他 ， 这 个 版 本 目前 能 满足 哪个 客户 的 要 求 ， 或 者 再 给 测试 两 周 时 间 才 能 正常 发 布 ， 可 以 想象 
这 位 测试 经 理 在 团队 中 会 有 相应 分 量 和 话语 权 。 


` 测试 没有 在 第 一 时 间 发 现 最 重要 的 缺陷 。 某 产品 的 一 个 版 本 ， 前 面 几 轮 测 试 的 时 候 ， 一 直 没 有 进行 性 能 验证 ， 因 为 所 有 的 
模块 都 单独 测试 过 性 能 ， 都 完全 满足 性 能 要 求 。 但 是 最 后 一 轮 发 布 之 前 ， 把 负载 加 上 后 发 现 由 于 接口 设计 不 合理 导致 系统 整体 性 
能 极 差 ， 版 本 完全 不 可 能 发 布 。 后 来 回溯 时 才 发 现 ， 系 统 工程 师 一 直 在 询问 性 能 的 测试 情况 ， 测 试 工程 师 由 于 太 自 信 ， 一 直 答 复 
不 会 有 缺陷 。 通 常 基本 操作 流程 、 性 能 、 安 全 等 的 缺陷 会 导致 设计 上 做 大 的 调整 ， 但 是 在 版 本 的 前 几 轮 开发 中 ， 通 常 也 不 具备 进 
行 这 些 测试 的 条 件 ， 如 何 把 重要 的 内 容 尽 早 验 证 ， 这 是 对 测试 能 力 的 一 个 很 大 挑战 。 


测试 团队 发 展 到 一 定 的 阶段 ， 几 乎 都 会 面临 这 些 问题 ， 在 解决 这 些 问 题 的 时 候 通 常会 发 现 ， 仅 仅 依 靠 测试 团队 根本 无 法 解决 
问题 ， 或 者 问题 根源 就 不 在 测试 这 里 。 如 果 测 试 团队 采取 尽力 而 为 、 能 解决 多 少 算 多 少 的 策略 ， 或 者 将 问题 直接 推 给 自 认 为 合适 
的 部 门 ， 那 将 无 法 解决 问题 ， 更 加 无 法 达成 研发 经 理 心目 中 的 那个 目标 。 


但 是 换个 角度 思考 ， 这 些 问题 出 现在 研发 过 程 中 ， 测 试 往往 是 处 在 污染 河流 的 下 游 ， 本 身 就 是 问题 最 直接 的 受害 者 ， 因 而 也 
是 问题 解决 推动 者 的 最 佳人 选 。 如 果 把 问题 的 解决 作为 推动 改进 的 契机 ， 在 解决 问题 的 过 程 中 探寻 到 问题 对 质量 、 成 本 、 效 率 的 
影响 方式 和 外 在 表征 ， 进 而 促进 多 团队 协作 改进 ， 这 样 也 许 会 更 有 助 于 问题 的 解决 和 测试 自身 的 提升 。 


从 我 的 经 验 看 ， 通 常 也 只 有 这 样 ， 测 试 才能 获得 相应 的 资源 来 彻底 解决 问题 。 


测试 技术 发 展 到 现在 其 实 一 直 在 进化 。 最 初 的 几 个 先锋 ， 使 用 乱 打 乱 撞 的 方式 进行 验证 ， 在 这 个 过 程 中 ， 先 锋 们 发 现 某 个 思 
路 、 某 种 做 法 对 于 发 现 某 类 缺陷 特别 有 效 ， 于 是 逐渐 发 展 出 各 种 测试 设计 的 工程 方法 ， 以 及 测试 的 标准 流程 模型 ， 进 而 使 测试 变 
成 了 一 门 专业 技术 。 这 个 进化 实现 了 测试 由 一 个 个 人 行为 向 一 个 团队 行为 拓展 所 需 的 准备 ， 但 是 也 留 下 了 一 个 尾巴 ， 那 就 是 ， 这 
些 固化 下 来 的 东西 没有 考虑 到 对 不 同类 别 的 软件 、 不 同 的 团队 文化 、 不 同 的 研发 流程 的 适应 性 。 


测试 的 继续 进化 ， 测 试 设计 、 自 动 化 、 环 境 管理 、 流 程 管理 技术 仍 是 测试 工作 的 基石 ， 新 一 代 的 测试 人 需要 站 在 这 个 基石 
上 ， 寻 求 适合 自己 产品 形态 、 研 发 流程 的 成 功 实践 ， 进 而 总 结 出 方法 。 


2.5 ”测试 价值 的 层次 


本 书 分 3 个 层次 介绍 我 们 的 测试 团队 实践 和 思考 过 的 测试 价值 : 


` 测试 必须 实现 的 价值 ， 即 传统 认为 测试 应 该 有 的 那些 价值 ， 如 发 现 缺陷 、 给 出 性 能 指标 、 建 设 团 队 的 测试 能 力 等 。 这 是 进 
一 步 拓展 测试 价值 的 基础 ， 测 试 团队 需要 夯实 。 


` 测试 可 以 实现 的 价值 ， 即 测试 有 条 件 做 到 的 那些 价值 ， 如 改善 研发 过 程 质量 、 提 升 交付 效率 等 。 原 有 的 能 力 加 上 新 的 能 力 
和 责任 ， 形 成 值得 测试 去 拓展 的 、 新 的 价值 外 延 。 


: 理想 的 测试 工作 场景 ， 当 测试 把 自动 化 、 过 程 管理 、 能 力 建设 都 做 到 精细 化 、 自 动 化 的 水 平时 ， 测 试 的 工作 场景 是 怎样 
的 ? 


对 于 测试 必须 的 价值 、 测 试 可 以 实现 的 价值 这 2 个 层次 ， 介 绍 的 内 容 包含 : 
" 实现 价值 所 需 的 技术 、 方 法 ; 
* 价值 实现 时 ， 在 技术 、 管 理 、 组 织 、 具 体操 作 上 需要 特别 注意 的 问题 。 


这 是 内 容 的 主体 部 分 ， 通 过 这 部 分 内 容 ， 能 够 知道 哪些 价值 点 是 值得 去 尝试 的 ;需要 什么 关键 技术 ;在 实施 的 过 程 中 ， 技 
术 、 管 理 、 组 织 上 需要 注意 什么 。 


测试 价值 的 实现 ， 选 择 正确 的 技术 方法 很 重要 ， 但 技术 以 外 的 沟通 、 管 理工 作 也 一 样 重要 ， 因 此 ， 本 书 还 会 简单 介绍 2 个 工 
具 : TPI 和 商业 模式 画布 。 


TPI NEXT， 是 通过 评估 分 析 目 前 团队 的 现状 和 短 板 ， 根 据 改进 目标 和 现状 确定 技术 、 管 理 和 组 织 上 的 工作 。 如 果 说 前 面 测 
试 价值 的 章节 明确 了 实现 测试 价值 要 点 ， 那 么 TPI 就 是 形成 组 合 拳 ， 保 障 测试 团队 开展 的 工作 能 够 产生 应 有 的 价值 。 


商业 模式 画布 。 是 利用 一 个 模型 ， 针 对 测试 改进 项 目 进行 人 、 财 、 物 的 策划 ， 让 各 种 措施 能 够 有 资源 、 有 条 件 落 实 。 


第 2 部 分 扫 门 前 雪 


作为 一 个 测试 团队 ， 基 本 的 职责 是 : 测试 产品 ， 发 现 缺 陷 ， 报告 结果 ， 使 每 个 版 本 的 测试 水 准 稳步 提升 。 这 些 价 值 是 作为 一 
个 测试 所 必须 有 具备 的 ， 发 挥 这 些 价 值 能 够 让 测试 获得 研发 团队 的 基本 信任 。 


1) 拦截 缺陷 ， 即 对 产品 进行 测试 ， 尽 可 能 把 产品 的 缺陷 拦截 在 研发 阶段 。 
2) 提供 数据 ， 即 提供 产品 的 质量 结论 ， 并 且 给 出 支撑 这 些 结论 的 数据 。 
3) 测试 过 程 可 控 ， 提 升 测试 团队 和 测试 工程 师 的 能 力 ， 使 得 产品 测试 的 效率 、 质 量 、 成 本 都 处 于 可 控 状 态 。 


“ 扫 门 前 雪 ” 说 明 这 些 价值 基本 上 是 测试 的 本 职工 作 ， 价 值 的 发 挥 是 依靠 测试 自身 或 者 以 测试 为 主 进行 能 力 建设 。 当 然 ， 这 
并 不 是 说 测试 必须 将 这 些 价值 发 挥 到 极致 ,测试 工程 师 们 还 需要 权衡 成 本 和 收益 ， 找 到 合适 的 “ 度 ”。 


第 3 章 “拦截 缺陷 
拦截 缺陷 是 测试 最 基本 的 价值 ， 尽 可 能 多 地 发 现 缺 陷 ， 尽 可 能 在 版 本 发 布 前 发 现 并 解决 影响 用 户 使 用 的 缺陷 ， 这 是 测试 这 个 
职业 存在 的 基础 


一 个 测试 团队 或 者 测试 工程 师 ， 如 果 经 常 将 基本 功能 缺陷 漏出 去 ， 那 是 无 论 如 何 也 得 不 到 信任 的 。 这 也 不 是 说 只 要 产品 到 客 
户 那里 有 遗留 缺陷 ， 测 试 活动 就 一 定 有 问题 ， 拦 截 缺 陷 的 能 力 就 一 定 需要 改进 。 通 常 还 是 会 视 缺陷 的 影响 程度 而 定 。 
为 了 方便 说 明 问题 的 解决 办 法 ， 这 里 按照 缺陷 的 激活 条 件 (产品 中 的 错误 在 特定 条 件 下 被 激活 ， 导 致 产品 出 现 故障 ， 这 


个 “特定 条 件 ” 就 是 激活 条 件 ) ， 把 缺陷 分 为 4 类 : 


: 基本 功能 缺陷 。 用 户 进行 正常 业务 的 基本 操作 时 ， 由 于 缺陷 导致 业务 操作 无 法 完成 。 这 类 缺陷 对 用 户 的 影响 最 大 ， 是 研发 
需要 最 优先 解决 的 问题 。 


“常规 使 用 缺陷 。 用 户 大 部 分 情况 下 能 完成 正常 的 业务 操作 ， 但 在 特定 的 条 件 下 进行 业务 操作 时 ， 缺 陷 被 激活 导致 操作 无 法 
完成 ， 产 


品 绝 大 部 分 的 缺陷 都 属于 这 一 类 。 想 要 减少 这 类 缺陷 ， 需 要 进一步 按 故障 的 影响 范围 和 严重 程度 找到 优先 解决 的 重点 。 


- 受 攻击 暴露 的 缺陷 。 产 品 出 现 故障 并 非 由 于 用 户 的 业务 操作 ， 而 是 由 于 软 硬 件 或 网 络 环境 发 生 异 常 、 业 务 请 求 量 超出 预期 
而 造成 过 载 、 受 到 黑客 攻击 等 。 这 类 缺陷 对 用 户 的 影响 很 大 ， 但 用 户 会 基于 成 本 来 考虑 解决 的 方式 ， 不 一 定 全 部 是 通过 增强 软件 
能 力 来 解决 。 


- 随机 出 现 的 缺陷 。 产 品 出 现 故 障 的 条 件 不 明确 ， 如 果 故 障 的 影响 范围 大 、 严 重 程度 高 、 出 现 频 次 高 ， 也 会 对 缺陷 进行 专项 
分 析 。 


本 章 将 分 别 介绍 拦截 各 类 缺陷 的 一 般 原 则 、 常 用 方法 ， 以 及 具体 可 参考 的 方法 和 工具 。 


3.1 ”用户 无 法 正常 使 用 


3.1.1 “问题 案例 


我 遇 到 最 狼 狐 的 问题 是 有 一 次 切换 数据 库 ， 切 换 的 过 程 是 先导 出 数据 ， 升 级 程序 ， 然 后 导入 数据 恢复 系统 。 在 实验 室 经 过 详 
细 验 证 的 切换 脚本 ， 在 客户 那里 始终 卡 在 第 三 步 ， 导 入 数据 失败 。 从 凑 晨 两 点 一 直 折 腾 到 凌晨 五 点 ， 也 没 能 让 数据 成 功 导 入 ， 最 
后 不 得 已 回 退 到 升级 前 系统 。 把 数据 拿 回 研发 分 析 ， 发 现 是 由 于 2 个 数据 库 支持 的 字库 略 有 差别 ， 有 一 个 用 户 的 名 字 使 用 了 生僻 
字 ， 原 来 的 数据 库 支持 这 个 字 ， 新 数据 库 的 默认 字库 中 不 支持 这 个 字 。 


在 日 常生 活 中 ， 软 件 无 法 正常 使 用 的 例子 也 很 常见 ， 比 如 ， 下 载 的 手机 APP 一 打开 就 内 退 ， 游 戏 升级 后 原来 的 过 关 记 录 都 丢 
了 。 曾 经 有 一 段 时 间 ， 我 每 次 升级 完 某 度 客户 端 ， 追 的 书 就 停止 更 新 ， 直 到 两 三 天 后 才 恢复 。 


这 类 缺陷 典型 的 有 : 安装 或 升级 过 程 中 出 错 ， 新 研发 特性 的 基本 功能 有 错 ， 升 级 后 原本 正常 使 用 的 功能 出 错 ， 产 品 在 正常 使 
用 中 数 次 崩溃 ， 正 常 使 用 中 有 导致 用 户 直接 经 济 损失 或 信息 泄露 的 错误 。 


3.1.2 ”解决 问题 的 思路 


【一 般 处 理 原 则 】 


产品 安装 或 升级 后 ， 基 本 的 功能 出 错 或 者 完全 不 能 使 用 ， 这 对 于 测试 的 信誉 是 极 大 的 伤害 ， 如 果 这 类 错误 经 常 反 复发 生 ， 测 
试 需要 把 拦截 缺陷 作为 最 优先 的 任务 。 


【解决 方法 】 


这 类 缺陷 的 发 现 条 件 是 : 只 要 测试 时 覆盖 到 了 这 个 功能 或 特性 ， 就 能 够 发 现 缺陷 。 因 此 ， 在 遇 到 这 类 问题 的 时 候 ， 推 荐 的 解 
是 : 


1) 建立 基本 测试 用 例 基 线 (测试 用 例 基 线 类 似 代码 基线 ， 是 产品 截止 到 某 个 版 本 时 ， 产 品 全 部 测试 用 例 及 其 测试 结果 的 集 
合 ， 这 是 产品 下 一 个 版 本 测试 的 基础 ， 故 称 基线 。 基 本 测试 用 例 基 线 是 测试 用 例 基线 的 一 个 子 集 ) ， 基 本 测试 用 例 集 包含 产品 最 
常见 的 业务 场景 ， 履 盖 绝 大 部 分 功能 特性 。 


2) 尽 可 能 实现 100% 自 动 化 测试 ， 在 每 次 启动 测试 、 产 品 发 布 之 前 都 将 基本 测试 用 例 全 部 测试 一 遍 。 


3) 有 时 候 出 现 问题 还 与 客户 数据 、 环 境 、 使 用 方法 有 关 ， 那 么 基本 用 例 基线 的 测试 用 例 就 需要 包含 客户 的 数据 、 环 境 、 应 
用 场景 等 信息 ， 并 按 版 本 、 客 户 进行 管理 。 


无 论 是 否 有 专业 的 测试 团队 ， 产 品 在 发 布 之 前 一 定 是 验证 过 基本 功能 的 。 安 装 或 升级 后 仍 出 现 无 法 启动 、 异 常 退出 、 原 有 基 
本 功能 不 能 用 、 新 增 特性 基本 功能 错误 等 这 些 缺 陷 ， 昌 然 看 上 去 像 是 根本 没有 测试 过 ， 但 事实 却 并 非 如 此 。 缺 陷 没有 被 拦截 ， 实 
际 上 大 部 分 原因 是 : 


- 新 增 的 功能 测试 了 ， 原 有 的 老 功能 没有 全 部 测试 。 
“ 原 有 老 功能 测试 了 ， 但 是 结果 检查 不 完整 ， 例 如 只 检查 特性 相关 的 特殊 结果 数据 ， 常 规 的 结果 数据 没有 检查 。 


新 、 老 功能 都 测试 了 ， 但 是 测试 用 例 和 用 户 的 常用 使 用 场景 有 出 入 ; 测试 环境 的 基础 数据 、 开 关 设 置 、 终 端 类 型 、 操 作 系 
统 版 本 等 和 用 户 常 用 的 使 用 数据 有 出 入 。 


针对 以 上 原因 ， 基 本 用 例 相当 于 确定 了 : 在 这 样 的 条 件 下 ， 可 以 通过 这 样 的 操作 过 程 ， 正 常 地 实现 这 个 业务 场景 。 建 立 测试 
用 例 基 线 是 确定 了 产品 的 常见 使 用 场景 ; 而 自动 化 是 固化 成 果 ， 确 保 每 次 发 布 常规 场景 都 能 正常 使 用 。 


3.1.3 ”建立 测试 用 例 基 线 


我 们 的 主要 产品 都 要 求 建立 测试 用 例 基 线 ， 用 例 基 线 包含 基本 用 例 、 常 规 用 例 、 生 个 用 例 。 基 本 用 例 就 是 上 一 小 节 提 到 的 基 
本 用 例 集 。 常 规 用 例 包含 绝 大 部 分 正常 和 异常 用 例 ， 一 般 在 老 特 性 修改 或 者 新 特性 对 老 特性 影响 较 大 时 ， 会 测试 老 特 性 的 常规 用 
例 。 生 个 用 例 是 一 些 使 用 非常 规 手 段 才 能 实施 的 测试 ， 比 如 暴力 攻击 、 断 电 、 代 码 注入 等 ， 这 些 用 例 很 少 会 重复 测试 ， 只 有 在 可 
靠 性 、 安 全 机 制 做 架构 升级 时 才 会 考虑 重新 测试 。 


测试 用 例 基 线 的 建设 标准 包含 基本 要 求 和 附加 要 求 2 部 分 ， 基 本 要 求 主要 关注 测试 用 例 基 线 的 完整 性 ， 附 加 要 求 主要 关注 测 
试用 例 基 线 是 否 易于 使 用 。 


【基本 要 求 】 


1) 建立 产品 级 测试 用 例 基 线 ， 基 线 履 盖 产品 的 全 部 特性 功能 和 所 有 质量 属性 (功能 、 性 能 、 可 靠 性 、 安 全 性 、 可 服务 性 、 
资料 ) 。 产 品级 的 含义 是 ， 一 个 产品 一 个 用 例 集 基线 ， 而 不 是 一 个 版 本 一 个 用 例 基 线 ， 这 是 为 了 随时 都 能 根据 用 例 的 测试 结果 得 
到 产品 质量 的 整体 视图 。 


2) 测试 用 例 基线 中 的 用 例 集 或 用 例 ， 包 含 与 产品 特性 、 产 品 需 求 的 对 应 关系 。 这 是 为 了 在 测试 结束 时 ， 按 特性 或 需求 进行 
测试 结果 分 析 。 


3) 测试 用 例 基 线 包含 基本 用 例 集 ， 基 本 用 例 100% 覆 盖 产 品 特性 。 这 要 求 每 个 产品 特性 都 至 少 有 一 个 用 例 在 基本 用 例 集 
中 。 


4) 测试 用 例 基 线 的 用 例 不 存在 空 用 例 、 拷 贝 用 例 、 自 动 化 脚本 和 文本 不 一 致 等 情况 。 这 是 用 例 质 量 最 基本 的 要 求 。 
【附加 要 求 】 
1) 测试 用 例 基线 覆盖 产品 的 全 部 需求 。 


2) 有 针对 测试 用 例 基 线 的 更 新 、 审 核 机 制 。 测 试用 例 基线 要 做 到 和 产品 同步 更 新 ， 每 个 版 本 根据 特性 变更 情况 刷新 基线 ， 
保证 基线 不 腐化 。 


3) 有 管理 用 例 基 线 的 工具 ， 工 具 管 理 了 用 例 及 其 执行 过 程 和 结果 的 全 部 的 信息 ， 并 可 以 根据 版 本 、 客 户 、 业 务 等 条 件 方便 
地 查询 ， 并 进行 测试 结果 演变 过 程 分 析 。 


在 基本 要 求 中 ， 要 求 测试 用 例 基 线 覆 盖 产 品 特性 ; 在 附加 要 求 中 ， 要 求 测试 用 例 基 线 履 盖 产 品 需求 。 特 性 的 粒度 比 功能 需求 
大 ， 比 如 支持 语音 通话 计 费 是 一 个 特性 ， 而 本 地 、 漫 游 、 长 途 有 不 同 费 率 ， 欠 费 、 低 余额 做 不 同 处 理 ， 不 同 品牌 不 同 套 餐 的 不 同 
优惠 等 这 些 都 是 功能 需求 。 


测试 用 例 对 应 到 需求 更 容易 进行 准确 的 挑选 ， 也 更 便于 在 需求 变更 时 ， 同 步 更 新 测试 用 例 。 但 是 从 测试 用 例 的 管理 难度 上 
看 ， 对 应 到 到 需求 比 对 应 到 特性 难度 要 大 。 对 应 到 需求 的 主要 难度 是 ， 通 常 开 发 团队 对 产品 只 管理 到 特性 ， 每 个 特性 有 特定 的 代 
码 ; 但 需求 通常 没有 有 效 的 管理 ， 因 为 需求 经 常 变化 并 不 像 特性 那样 稳定 。 


在 附加 要 求 中 ， 要 求 测试 用 例 基 线 和 产品 同步 更 新 。 有 些 团 队 的 做 法 是 ， 老 用 例 从 不 更 新 ， 特 性 有 变更 时 ， 写 一 批 新 用 例 加 
入 基线 。 后 一 种 做 法 实施 起 来 更 简单 一 些 ， 但 是 这 样 一 来 ， 测 试用 例 基线 中 就 遗留 了 无 效 的 用 例 ， 长 期 积累 下 来 ， 就 很 难 从 测试 
用 例 基线 中 找到 特性 的 有 效用 例 全 集 了 。 


建立 测试 用 例 基 线 的 目的 是 为 了 复 用 ， 如 果 老 特性 永远 也 不 会 需要 重新 验证 ， 比 如 某 些 游 戏 ， 那 么 可 以 选择 不 建 测试 用 例 基 
线 , 干 万 不 要 为 了 让 测试 工作 看 起 来 有 一 些 积累 的 ， 而 去 做 这 个 事情 。 


这 个 标准 只 包括 对 大 部 分 产品 都 适用 的 做 法 ， 前 面 提 到 的 ， 用 例 应 该 包含 客户 数据 、 环 境 、 应 用 场景 ， 并 具备 版 本 和 客户 标 
识 ， 这 是 产品 根据 自身 的 情况 再 增加 的 内 容 。 有 些 产 品 还 会 建立 起 用 例 和 缺陷 (尤其 是 客户 报告 的 缺陷 ) 的 对 应 关系 ,这样 做 的 
好 处 是 ， 对 重要 的 客户 ， 至 少 可 以 通过 用 例 的 覆盖 保证 出 过 的 缺陷 不 再 重复 出 现 。 


对 于 测试 用 例 基 线 的 管理 ， 我 们 的 测试 团队 用 的 是 自行 研发 的 一 个 工具 ， 工 具 中 用 例 集 的 结构 如 图 3-1 所 示 ， 按 特性 和 测试 
项 分 层 管理 。 管 理 的 最 小 颗粒 是 单个 测试 用 例 ， 用 例 的 内 容 结构 如 图 3-2 所 示 ， 包 含 用 例 的 描述 、 自 动 化 脚本 、 每 次 执行 的 结 
果 、 所 有 的 分 类 标签 和 标识 。 在 工具 上 能 完成 用 例 所 有 信息 的 编辑 、 存 储 ， 按 各 种 条 件 挑选 用 例 ， 也 能 和 自动 化 工具 、 研 发 管理 
的 电子 流 同步 数据 。 
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测试 用 例 3 


测试 子 项 2 
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图 3-1 测试 用 例 基 线 结构 


说 明 : 测试 项 和 测试 子 项 通常 对 应 一 个 测试 目的 ， 例 如 “x x 接口 测试 ”“x x 参 数 测试 ”。 


测试 项 、 测 试用 例 
编号 自动 生成 ， 全 局 唯一 
级 别 基本 、 常 规 、 生 个 
创建 
用 例文 本 
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顶 置 条 件 | 测试 数据 准备 
操作 步骤 | 测试 执行 过 程 
坑 期 结果 “| 测试 结果 检查 
用 例 脚本 


i 


前 置 脚本 | 测试 环境 初始 化 
| 用例 脚本 | 包含 预 置 条 件 、 操 作 步 骤 和 结果 检查 
资源 回收 | 
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版 本 号 执行 用 例 的 版 本 号 
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-0 
用 
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央 降 由 本 用 例 执 行 发 现 的 缺陷 的 编号 
1 
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用 例 标识 


产品 自 定 义 的 用 例 分 类 标识 ， 如 客户 类 别 、 
标识 编号 组 网 类 别 、 客 户 问 题 编号 等 
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上 标识 取信 
SS 
| 
(| 


标识 3 


图 3-2 ”测试 用 例 模板 
要 做 一 个 这 样 的 用 例 管理 工具 成 本 还 是 很 高 的 ， 用 常规 的 配置 管理 工具 配合 用 例文 档 的 一 些 规范 也 可 以 实现 基本 的 用 例 管 
理 。 
3.1.4 测试 用 例 基线 要 同步 优化 管理 和 质量 
在 常用 的 、 久 经 考验 的 软件 中 ， 也 不 乏 “ 用 户 无 法 正常 使 用 ”的 例子 。 
某 天 ， 我 需要 把 信用 卡 提前 还 款 ， 恢 复 信 用 额度 ， 以 应 付 接 下 来 的 支付 需要 。 通 过 网 银 查询 账单 如 图 3-3 所 示 。 


点 击 链接 进入 快速 还 款 ， 发 现 应 还 款 金额 为 零 ， 与 账单 查询 到 的 不 一 致 ， 如 图 3-4 所 示 。 


未 出 账单 查询 


， 已 dWf 单 信息 
亚 音 月份 人 民 币 应 地 总 蜂 从 民 币 最 佐 逊 款 富 美元 应 还 总 额 
2015-08 ¥27,244.60 ¥2,724.46 $1,805.28 


2015-07 
2015-06 
2015-05 
2015-04 
2015-03 
2015-02 
2015-01 
2014-12 
2014-11 
2014-10 
2014-09 | 


图 3-3 ”账单 查询 结果 


当前 功能 : 还 款 管 理 > 快速 还 款 


信用 卡 账户 : [个 人 卡 账户 001001 | 可 


待 还 款 的 信用 卡 账单 : | 个 人 卡 账单 


本 期 应 还 金额 : Sn 2 


币 种 : | | 人民币 
| 〇 本 期 应 还 金额 : 了 0.00 
还 款 金 额 : | @ 〇 本 期 应 还 最 低 额 : 站 0.00 
| © 和 2 蜂 :[ 和 申 博 分 期 二 款 


太行 借 i 卡 全 颌 :| 人 民生 :和 国 e:ooo: 关 mc:0.00: 


借 记 卡 取款 密码 : | 


图 3-4 快速 还 款 操 作 页 面 


查询 未 出 账单 ， 发 现 此 笔 已 经 自动 还 款 ， 因 此 上 述 应 还 金额 为 零 可 能 是 对 的 。 但 是 还 款 之 后 的 消费 ， 无 论 是否 入 账 ， 都 无 法 
选择 提前 还 款 ， 如 图 3-5 所 示 。 这 样 ， 还 是 无 法 恢复 信用 额度 (以 前 曾经 这 样 操作 成 功 过 ) 。 


查询 账单 、 快 速 还 款 ， 这 些 功能 单独 看 起 来 都 是 对 的 ， 但 是 组 合 起 来 ， 却 无 法 实现 我 所 希望 的 应 用 场景 。 打 电话 到 客服 ， 对 
这 个 问题 也 没有 解释 ， 最 后 就 是 临时 调 高 信用 额度 了 事 。 


想 要 在 测试 的 时 候 发 现 这 个 缺陷 ， 必 然 需 要 有 业务 场景 用 例 基线 ， 履 盖 已 出 账单 、 未 出 账单 的 快速 还 款 。 这 样 在 新 版 本 验证 
的 时 候 ， 才 能 够 发 现 出现 了 特性 丢失 、 有 的 业务 场景 已 经 不 能 实现 的 缺陷 。 


人 民 币 典 单 明细 | 美元 账单 明细 


* 未 入 账 交易 及 还 款 
交易 日 期 记 卫 日 期 卡号 末 四 位 人 民 币 金 新 交易 地 全 医 
2015-09-06 尚未 入 账 > ¥79.10 ¥79.10 
2015-09-06 尚未 入 账 ¥5,566.00 ¥5,566.00 


2015-09-06 尚未 入 账 3 ¥5,800.00 ¥ 5,800.00 


2015-09-06 尚未 入 账 J ¥3,060.00 ¥ 3,060.00 


您 已 选择 的 分 期 申请 全 额 : 站 0.00 您 已 选择 笔 数 : 0 笔 


”已 入 账 交 易 及 还 款 。 ”已 入 账 交易 金额 合计 : 对 2,711.00 ”已 入 账 交 易 笔 数 合计 : 4 笔 
交易 日 其 记 典 日 其 交易 搞 要 卡号 末 四 位 人 人民 币 爹 额 交易 地 全 医 
2015-08-17 2015-08-18 i i ¥699.00 699.00 
2015-08-23 2015-08-24 : ¥423.00 423.00 
2015-09-01 2015-09-02 ¥800.00 800.00 
2015-09-03 2015-09-04 ¥-27,244.60 -27,244.60 


2015-09-05 2015-09-06 5 EE ¥789.00 789.00 
图 3-5 ”无 法 选择 提前 还 款 


有 些 时 候 ，“ 用 户 无 法 正常 使 用 ”的 缺陷 显得 匪夷所思 ， 无 法 接受 。 我 在 某 购书 网 站 上 找 一 套 《给 孩子 的 哲学 》， 得 到 的 查 
询 结 果 如 图 3-6 所 示 。 


给 孩子 的 哲学 


EA WHE ise- 时 。 xT I 枯 LNKHYEY) 奏 UITH 一 二 


京剧 工艺 脸谱 /YCD 


¥58.90 Y96.69 (6 1 折 ) 电子 书 : ¥29.00 
2013-08-01 


会 会 会 会 会 5575 条 评论 


道德 与 生境 :基于 两 个 社区 儿童 道德 发 展 的 比较 研究 


¥46.80 ¥653-009 (6 9 折 ) 
杨 勇 着 /2015-02-01 /广西 师范 大 学 出 版 社 
食 食 会 会 会 255 条 评论 


京剧 工艺 脸谱 /VCD 
¥129.70 ¥+8899 (6.9 折 ) 


2011-07-01 


伍 食 会 会 会 25035 条 评论 


2015 年 8 月 6 日 ，14:54:31 


图 3-6 ”图 书 查询 结果 


在 这 个 例子 中 ， 搜 索 结果 的 书 名 信息 和 搜索 关键 字 “ 给 孩子 的 哲学 ”之 无 关系 ， 但 是 除了 书 名 以 外 ， 其 他 的 内 容 都 是 正确 
的 ,书籍 的 整个 购买 流程 也 可 以 正确 地 实现 。 也 就 是 说 ， 即 使 有 “搜索 并 购书 ”这 一 基本 业务 流程 的 自动 化 用 例 ， 并 且 在 版 本 上 
线 之 前 进行 了 自动 化 验证 ， 也 不 一 定 能 够 发 现 如 此 “明显 的 ”缺陷 ， 除 非 在 基本 业务 流程 的 每 个 操作 环节 ， 都 在 验证 操作 前 后 数 
据 的 一 致 性 。 


业务 场景 : 完成 一 次 业务 处 理 的 一 组 操作 ， 例 如 用 户 开 户 、 一 次 网 购 下 订单 、 一 个 客户 投诉 的 处 理 等 。 以 “搜索 并 购书 ”为 
例 ， 业 务 场景 的 基本 流程 是 : 用 关键 字 搜索 图 书 一 点 开 其 中 一 个 图 书 链接 一 浏览 图 书信 息 一 加 入 购物 车 。 


通常 ， 一 个 业务 场景 就 是 一 组 有 明确 目标 的 操作 序列 。 


从 这 两 个 例子 可 以 知道 ， 建 立 测试 用 例 基线 绝 非 简单 地 把 现 有 的 用 例 实现 自动 化 并 管理 起 来 ， 很 可 能 需要 改善 用 例 的 质量 ， 
一 方面 需要 根据 业务 场景 设计 用 例 ， 另 一 方面 在 预 置 条 件 、 操 作 步 骤 、 中 间 和 最 终结 果 检 查 方面 需要 更 严谨 。 


在 我 们 的 产品 中 ， 最 开始 部 分 产品 出 于 自己 的 业务 需要 ， 建 立 基 本 测试 用 例 集 并 实现 自动 化 、 形 成 基线 ， 在 每 个 版 本 中 作为 
冒 烟 测试 的 基础 用 例 使 用 ， 并 随 着 产品 版 本 的 演进 ， 同 步 进行 维护 和 更 新 。 由 于 这 种 做 法 很 好 地 控制 了 基本 功能 的 质量 ， 后 来 逐 
步 在 产品 间 推 广 ， 把 建立 基本 测试 用 例 基线 作为 对 全 部 产品 的 基本 能 力 要 求 。 


在 各 个 产品 进行 这 项 能 力 建 设 的 过 程 中 ， 有 些 产品 直接 把 特性 测试 时 的 基本 功能 验证 用 例 拿 来 构造 基本 测试 用 例 基 线 ， 使 用 


后 发 现 并 不 能 拦截 “用 户 无 法 正常 使 用 ”的 缺陷 ， 于 是 觉得 基本 测试 用 例 基线 “没有 用 ”。 但 事实 上 并 不 是 基本 测试 用 例 基线 这 
种 方法 没有 用 ， 而 是 基线 中 的 用 例 并 没有 履 盖 用 户 的 正常 使 用 场景 ， 或 者 覆盖 了 场景 但 是 结果 检查 的 内 容 不 完整 。 


3.1.5 ” 找 对 症结 建立 测试 用 例 基线 


新 团队 或 新 产品 经 常会 遇 到 这 类 问题 ， 由 于 这 类 问题 直接 影响 产品 的 销售 ， 因 此 研发 通常 急于 解决 这 类 问题 ， 但 是 从 无 到 有 
建立 自动 化 的 基本 用 例 集 绝 非 一 日 之 功 。 因 此 ， 在 建立 测试 用 例 基 线 工 作 的 前 期 ， 我 建议 和 服务 代表 、 市 场 代表 、 研 发 经 理 做 充 
分 的 沟通 ， 切 忌 盲 目 铺 开 或 者 孤立 的 看 待 每 个 问题 。 


沟通 前 ， 首 先进 行 缺 陷 分 析 ， 明 确 基本 用 例 集 需要 包含 哪些 方面 的 测试 用 例 ， 导 致 缺陷 遗漏 是 因为 缺少 用 例 ” 还 是 操作 方法 
不 对 或 结果 检查 不 完整 ”是 否 需要 和 具体 的 环境 、 客 户 数据 、 应 用 场景 建立 关联 ?根据 这 些 信息 估计 用 例 数量 、 手 工 测试 工作 量 
和 自动 化 工作 量 。 


然后 和 市 场 代表 或 者 研发 经 理 讨论 策略 ， 一 种 是 先 把 用 例 集 整理 出 来 手工 测试 ， 再 逐步 实现 自动 化 ; 一 种 是 按 缺 陷 出 现 的 频 
率 和 业务 影响 排 优 先 级 ， 先 把 风险 最 大 的 部 分 整理 用 例 集 并 实现 自动 化 。 后 一 种 策略 有 更 明显 的 商业 成 功 导向 。 


发 生 这 类 问题 的 男 一 个 原因 是 测试 工程 师 对 客户 的 业务 流程 、 使 用 习惯 、 网 络 环境 、 产 品 部 署 不 了 解 。 因 此 ， 基 本 用 例 集中 
功能 测试 的 环境 、 操 作 步 又、 测试 数据 、 结 果 检 查 项 ， 都 最 好 能 够 和 客户 或 者 市 场 代表 进行 确认 。 这 样 做 的 好 处 不 仅 是 让 用 例 更 
贴近 用 户 的 真实 情况 ， 还 有 利于 测试 工程 师 掌 握 客 户 的 业务 和 要 求 的 第 一 手 信息 。 

总 之 ， 解 决 这 一 类 问题 ， 最 好 进行 思路 上 的 转变 : 测试 的 角度 由 设计 验证 转变 为 需求 验证 、 应 用 场景 验证 ; 首先 考虑 的 是 业 
务 问题 的 解决 而 不 是 自动 化 的 方法 。 


3.2 ”正常 使 用 中 部 分 出 错 
3.2.1 “问题 案例 


我 们 的 产品 中 遇 到 的 大 部 分 客户 问题 都 属于 此 类 。 例 如 : 


* 某 产 品 的 客户 端 是 运行 在 浏览 器 上 的 ， 支 持 IE8、IE9、Firefox,， 但 是 经 常 出 现 菜 些 页 面 在 其 中 一 款 浏 览 器 上 显示 不 全 或 者 
错位 等 问题 ， 有 个 产品 由 于 问题 太 多 ， 以 至 于 不 再 支持 Fitefox。 对 于 移动 应 用 ， 最 常见 的 是 APP 在 某 个 终端 品牌 或 操作 系统 版 本 
上 不 能 正常 使 用 。 


某 产 品 新 版 本 逐渐 替换 老 版 本 的 过 程 中 ， 客 户 开 始 使 用 时 都 没有 发 现 问题 ， 到 某 个 客户 那里 突然 和 原 有 的 功能 不 兼容 。 分 
析 发 现 某 个 接口 字段 的 合法 取 值 是 0~10， 产 品 上 一 个 版 本 暂时 只 用 了 0~5， 其 他 的 预 留 。 在 新 上 线 的 版 本 中 启用 了 6， 触 发 一 个 
新 的 功能 分 支 。 但 是 ， 这 个 产品 是 支持 客户 定制 的 ， 客 户 之 前 就 用 了 6 这 个 值 来 触发 他 们 自行 定制 的 一 个 功能 分 支 。 这 样 ， 不 兼 
容 就 产生 了 。 


* 在 日 常生 活 中 ， 我 也 遇 到 过 某 信 支付 时 ， 付 款 人 已 经 收 到 银行 扣 款 的 短信 ， 但 是 在 APP 上 没有 交易 的 信息 ， 收 款 方 也 看 不 


到 收 款 提 醒 。 打 电话 到 客服 ， 只 告知 是 系统 故障 ， 后 台 手 工 处 理 过 一 段 时 间 以 后 ， 交 易 数 据 才 恢复 。 
这 类 缺陷 典型 的 有 : 新 版 本 在 部 分 用 户 那 里 无 法 正确 升级 或 使 用 ， 新 特性 在 用 户 进行 特别 的 操作 或 使 用 特定 的 数据 时 保护 不 
足 、 出 错 或 造成 损失 ， 系 统 在 忙 时 处 理 能 力 不 足 或 出 错 率 高 等 。 


3.2.2 ”解决 问题 的 思路 


【一 般 处 理 原 则 】 


产品 在 使 用 过 程 中 小 毛病 不 断 ， 一 方面 会 降低 用 户 的 满意 度 ; 另 一 方面 也 会 让 产品 研发 不 得 不 投入 大 量 的 精力 去 处 理 缺陷 。 
如 果 这 类 问题 经 常 发 生 ， 测 试 需要 把 拦截 缺陷 作为 比较 优先 的 任务 。 


由 于 解决 这 类 问题 需要 一 个 经 验 和 成 果 积 累 的 过 程 ， 所 以 周期 比较 长 。 
【解决 方法 】 


这 类 缺陷 的 发 现 条 件 是 : 必须 在 特定 场景 下 测试 ， 或 者 使 用 了 特定 的 数据 ， 或 者 进行 了 特定 的 操作 ， 或 者 走 了 特定 的 路 径 ， 
总 之 ， 测 试 设 计 必 须 考 虑 到 了 这 些 情 况 。 在 遇 到 这 类 问题 的 时 候 ， 推 荐 的 方法 是 : 1) 扩展 基本 用 例 集 ， 使 之 包含 安装 、 升 级 、 
应 用 场景 、 性 能 的 部 分 用 例 ; 2) 形成 测试 设计 要 素 集 ， 完 善 测试 设计 方法 。 


如 果 错 误 经 常 出 现在 特定 场景 ， 比 如 安装 或 忙 时 ， 那 么 需要 考虑 对 测试 范围 做 完善 。 一 般 的 软件 产品 ， 测 试 中 需要 考虑 功 
能 、 性 能 、 安 全 性 、 可 靠 性 、 易 用 性 等 的 覆盖 。 移 动 互 联网 应 用 的 测试 类 型 中 还 有 包含 安装 在 内 的 整个 使 用 过 程 ， 以 及 能 耗 、 组 
网 等 方面 。 

如 果 错 误 经 常 是 由 于 特性 的 某 些 影响 因素 没有 考虑 到 ， 比 如 VIP 用 户 、 欠 费 状 态 用 户 需 要 特殊 处 理 等 ， 那 么 需要 考虑 改进 测 
试 设计 ， 把 容易 遗漏 的 测试 设计 要 素 (例如 上 面 例子 中 的 用 户 类 型 、 用 户 状态 ) 进行 归 类 整理 。 


判断 采取 什么 手段 进行 改进 ， 需 要 依据 对 客户 问题 的 分 析 ， 常 用 的 分 析 方 法 是 根 因 分 析 法 (Root Cause 
Analysis，RCA) ， 通 过 对 缺陷 根本 原因 的 分 析 ， 找 到 需要 解决 的 问题 ， 进 而 确定 合适 的 解决 问题 的 突破 点 。 


为 什么 没有 强调 “使 用 经 典 的 测试 设计 方法 ” 


产品 在 使 用 过 程 中 有 缺陷 ， 肯 定 会 想到 改善 测试 设计 ， 而 改善 测试 设计 首先 又 会 想到 使 用 经 典 的 测试 设计 方法 ， 如 因果 图 、 
边界 值 、 等 价 类 等 。 我 们 的 测试 团队 曾经 做 过 统计 ， 严 格 要 求 测试 工程 师 使 用 这 些 测试 设计 方法 进行 用 例 的 设计 ， 用 例 倒是 增加 
了 不 少 ， 但 对 增加 缺陷 的 发 现 作 用 甚 微 。 

进行 原因 分 析 后 发 现 ， 测 试 没有 成 功 地 拦截 缺陷 ， 问 题 并 不 是 出 在 “测试 设计 ”上 ， 而 是 出 在 “测试 分 析 ” 上 。 以 一 个 业务 
流程 为 例 ，“ 测 试 分 析 ” 是 画 出 业务 流程 ， 以 及 各 种 分 支 、 异 常 处 理 过程 ; “测试 设计 ”是 使 用 深度 优先 或 广度 优先 策略 ， 实 现 
对 图 的 边 、 语 句 、 逻 辑 或 路 径 等 的 覆盖 。 大 部 分 情况 下 ， 测 试 没有 发 现 产 品 的 缺陷 ， 并 不 是 “覆盖 ”的 方法 不 全 面 ， 而 是 在 图 上 
根本 就 没有 画 出 这 部 分 内 容 。 

因此 ， 在 测试 设计 中 需要 重视 “被 测试 对 象 分 析 ” : 针对 需要 测试 的 特性 、 业 务 流程 、 功 能 ( 即 被 测试 对 象 ) ， 选 择 合适 的 
模型 表达 处 理 过 程 、 状 态 跳 转 、 有 异常 处 理 、 逻 辑 约束 、 数 据 结构 等 ， 以 这 些 模型 为 基础 进行 测试 设计 ， 才 真正 能 更 有 效 地 拦截 缺 
陷 。 而 在 解决 方法 中 提 到 的 两 点 正 是 帮助 完善 “被 测试 对 象 分 析 ” 的 方法 。 

总 之 ， 测 试 设计 方法 很 重要 ， 但 是 测试 工程 师 更 容易 忽略 被 测试 对 象 分 析 。 


此 外 ， 没 有 正规 测试 设计 过 程 的 探索 式 测试 似乎 能 够 更 快 地 发 现 缺陷 ， 如 果 仔 细 理 解 常 用 的 探索 方法 ， 可 以 看 出 这 种 测试 很 


重视 “被 测试 对 象 分 析 ” 和 “攻击 ”， 即 通过 各 种 探索 方法 找到 软件 各 种 可 能 的 用 法 (被 测试 对 象 分 析 ) ， 以 及 通过 各 种 探索 方 
法 试探 如 何 让 软件 出 错 (可 靠 性 和 安全 性 攻击 ) 。 


3.2.3 ”扩展 测试 类 型 


定义 测试 类 型 的 目的 是 帮助 测试 工程 师 从 多 个 角度 对 特性 或 产品 的 测试 范围 进行 分 析 。 我 们 的 产品 中 ， 常 见 的 测试 类 型 包含 
功能 、 性 能 、 可 靠 性 、 安 全 性 、 可 服务 性 、 资 料 ;， 其 他 测试 类 型 则 由 产品 根据 自己 的 情况 选择 或 者 定义 。 


测试 类 型 一 般 认 为 是 和 1SO9126 软 件 质量 模型 一 致 ， 但 是 在 实际 工作 中 ， 测 试 类 型 和 质量 模型 并 不 完全 一 致 ， 我 们 产品 常用 
的 测试 类 型 有 : 


功能 测试 。 产 品 的 新 、 老 功能 与 需求 是 否 一 致 ， 各 种 分 支 处 理 是 否 正确 。 

- 性 能 测试 。 系 统 的 性 能 指标 ， 超 负载 处 理 能 力 ， 长 时 间 稳 定性 。 

. 一 致 性 测试 。 产 品 是 否 满足 相关 的 标准 、 规 范 和 法 规 的 要 求 。 

. 兼容 性 测试 。 产 品 对 不 同 的 操作 系统 、 数 据 库 、 第 三 方 插件 、 外 部 接口 、 组 网 环境 、 硬 件 平台 的 兼容 性 。 


可 靠 性 测试 。 系 统 从 各 种 已 知 故障 中 恢复 的 过 程 、 影 响 和 难 易 程度 。 宛 余 备 份 、 过 载 控 制 等 可 靠 性 机 制 在 各 种 已 知 场景 下 
是 否 可 靠 。 


安全 性 测试 。 组 网 设计 、 访 问 控制 、 权 限 管理 、 数 据 保护 等 安全 机 制 是 否 能 够 有 效 防止 安全 攻击 ， 并 能 维持 正常 运行 和 保 
护 敏感 数据 。 


. 可 服务 性 测试 。 安 装 升级 的 过 程 、 影 响 和 难 易 程度 。 配 置 、 维 护 、 故 障 处 理 等 能 力 是 否 满足 日 常 维护 需要 。 
: 资料 测试 。 产 品 的 配套 资料 能 否 正 确 指 导 安 装 、 升 级 、 配 置 、 维 护 、 故 障 处 理 等 操作 。 


体验 测试 。 在 仿真 、 镜 像 或 客户 环境 中 ， 模 拟 客户 的 真实 业务 场景 ， 对 学 习 成 本 、 操 作 路 径 、 操 作 时 间 、 信 息 呈 现 方式 、 
界面 布局 等 进行 的 体验 。 


- 互 操作 测试 (IOT) 。 与 不 同 的 第 三 方 设备 、 不 同 主流 终端 设备 能 否 正 确 地 互 操作 。 


: 实验 局 测试 。 新 产品 或 新 版 本 在 正式 大 范围 商用 前 ， 先 在 个 别 客户 的 真实 业务 环境 下 使 用 一 段 时 间 ， 使 缺陷 可 以 更 充分 暴 
露 ， 降 低 大 范围 应 用 后 的 质量 风险 。 


: 镜像 测试 。 在 镜像 环境 上 进行 的 测试 ， 产 品 在 特定 环境 下 使 用 ， 使 其 所 存在 的 问题 能 够 提前 暴露 。 镜 像 测 试 主要 强调 测试 
环境 的 镜像 ， 测 试 内 容 可 以 是 功能 、 体 验 、 可 靠 性 、 可 服务 性 等 测试 类 型 。 这 里 的 镜像 是 将 产品 的 真实 应 用 环境 复制 到 实验 室 ， 
环境 的 复制 包含 设备 、 网 络 、 数 据 、 业 务 、 第 三 方 系统 等 全 部 环境 要 素 。 严 格 意义 上 说 ， 是 将 客户 的 环境 按 1 : 1 的 比例 在 实验 室 
复制 ， 但 这 样 做 成 本 太 高 ， 所 以 更 常见 的 是 缩小 比例 复制 ， 采 用 与 客户 环境 同系 列 、 但 配置 较 低 的 设备 搭建 测试 环境 。 


每 个 测试 类 型 所 测试 的 大 致 内 容 ， 参 见 5.2.1 节 “测试 方法 和 工具 方面 的 能 
这 些 虽 然 是 常规 测试 内 容 ， 但 几乎 所 有 产品 都 测试 的 只 有 功能 和 性 能 ， 其 他 类 型 测试 都 会 根据 产品 的 特点 选择 ， 例 如 : 


. 平台 类 的 产品 。 这 类 产品 指 公司 内 部 使 用 的 二 次 开发 平台 、 公 共 组 件 等 ， 主 要 是 供 公司 内 部 其 他 产品 使 用 ， 有 时 候 也 可 能 
对 外 销售 。 由 于 不 同 的 产品 会 将 这 些 平台 用 于 不 同 的 环境 和 场景 ， 因 此 这 些 平台 产品 需要 进行 兼容 性 、 可 靠 性 测试 。 此 外 ， 其 他 
产品 还 需要 通过 体验 测试 结果 ， 评 估 这 些 平台 的 学 习 成 本 、 二 次 开发 和 集成 的 难 易 程度 。 


. 需要 遵循 标准 、 规 范 的 产品 。 在 电信 和 领域， 针对 主要 的 网 络 设备 都 有 标准 、 规 范 来 约束 功能 、 接 口 、 可 靠 性 、 安 全 性 等 方 
面 。 依 靠 这 些 标准 、 规 范 ， 客 户 就 可 以 使 用 不 同 供应 商 的 设备 ， 在 实现 业务 的 提供 、 运 营 、 维 护 的 同时 ， 降 低 采 购 成 本 。 对 于 这 
些 产品 ， 必 须 进行 的 是 一 致 性 测试 和 IOT。 


. 有 较 多 Web 前 端 或 移动 APP 前 端 界面 的 产品 。 这 些 产品 的 用 户 从 Web 前 端 界面 或 者 移动 APP 进 行 操作 ， 实 现 与 后 台 程 序 的 
交互 。 对 于 这 些 产 品 ， 安 全 性 测试 比较 重要 ， 此 外 在 前 端 设计 有 大 的 调整 时 ， 还 需要 进行 体验 测试 。 


" 路 标 版 本 。 指 架构 层面 进行 重 构 或 升级 的 版 本 ， 我 们 的 产品 一 般 2 年 左右 会 有 一 个 路 标 版 本 ， 这 个 版 本 相对 前 一 个 路 标 在 
DFX 多 个 维度 上 都 有 很 大 的 变化 ， 因 此 ， 对 于 这 种 版 本 ， 除 了 性 能 ， 还 会 对 可 靠 性 、 安 全 性 、 可 服务 性 和 资料 、 一 致 性 、 兼 容 性 
等 进行 比较 全 面 的 测试 。 


总 的 说 来 ， 功 能 、 性 能 、 一 臻 性、 可靠 性 、 安 全 性 测试 在 我 们 的 产品 中 比较 受 重视 。 而 客户 化 测试 (主要 指 体验 测试 、 镜 像 
测试 、 验 收 测试 、Beta 测 试 等 有 客户 参与 或 者 由 客户 主导 的 测试 ) 是 近年 来 逐渐 被 看 重 的 测试 内 容 。 


我 们 的 产品 中 ， 功 能 、 性 能 、 一 致 性 、 可 靠 性 的 测试 手段 和 工具 比较 完整 。 尤 其 是 功能 、 性 能 、 一 致 性 测试 ， 自 动 化 程度 比 
较 高 。 这 些 工 具 绝 大 部 分 也 是 自行 研发 的 。 安 全 性 、 可 靠 性 测试 的 商用 工具 可 选 范围 比较 大 ， 也 有 免费 工具 可 用 ， 但 是 不 一 定 真 
正 适 合 自己 的 产品 ; 一 致 性 的 工具 有 但 是 普遍 比较 贵 ; 功能 、 性 能 测试 的 工具 选择 比较 多 ， 尤 其 是 界面 自动 化 的 工具 发 展 得 比较 
成 熟 。 

3.2.4 ”测试 设计 要 素 清单 

测试 设计 要 素 清单 是 影响 特性 表现 的 各 种 常规 因素 。 这 是 根据 特性 测试 的 经 验 总 结 出 来 的 测试 设计 辅助 工具 ， 这 个 清单 和 测 

试 设计 方法 一 起 ， 帮 助 测试 工程 师 更 全 面 地 分 析 被 测试 对 象 。 


测试 设计 要 素 清 单 完全 是 由 每 个 产品 经 理 自行 建设 ， 一 般 测试 设计 要 考虑 的 要 素 和 产品 的 数据 模型 密切 相关 ， 因 此 通常 建议 
产品 测试 和 设计 团队 共同 参与 。 


【案例 】 为 简易 的 电 商 内 控 系 统 设 计 测试 要 素 清 单 。 


这 个 系统 的 主要 特性 和 主要 设计 要 素 的 关联 关系 如 表 3-1 所 示 。 


表 3-1 测试 设计 要 素 清单 样 例 


wz 口 At 了 | 
商品 管理 


商品 订购 


商品 订单 处 理 


商品 采购 


此 例子 是 电 商 的 内 控 系 统 ， 该 电 商 在 不 同 电 商 平台 都 有 网 店 ， 每 个 电 商 平台 都 支持 PC 和 移动 客户 端 接 入 。 此 系统 功能 如 


. 商品 管理 。 实 现 商 品 上 架 、 调 价 、 折 扣 等 操作 。 


商品 订购 。 实 现 商品 查询 、 对 比 、 下 订单 、 付 款 等 操作 。 
' 商品 订单 处 理 。 处 理 客户 提交 的 订单 ， 付 款 以 后 启动 ， 至 收 到 货款 结束 。 
` 商品 采购 。 处 理 采购 单 ， 采 购 下 单 以 后 启动 ， 到 货 验 收 ， 入 库 后 结束 。 
测试 的 主要 设计 要 素 如 下 : 
" 用 户 级 别 。 新 客户 、 常 客户 、VIP 等 。 
* 库存 状态 。 充 足 、 紧 张 、 售 馨 、 预 售 等 。 
“ 平台 订单 。 电 商 平台 的 订单 信息 。 
. 接 入 渠道 。 哪 个 电 商 平台 ，PC 还 是 移动 客户 端 接 入 。 
. 平台 状态 。 忙 、 闲 等 。 
其 中 ， 商 品 订单 处 理 之 所 以 与 这 些 要 素 有 关 ， 其 原因 如 下 : 
.VIP 客户 可 以 有 额外 的 折扣 或 赠品 ， 因 此 在 备货 的 时 候 会 用 到 用 户 级 别 的 数据 。 
* 商品 订单 是 否 能 够 开始 处 理 决 定 于 库存 状态 ， 因 此 特性 与 库存 有 关 。 
* 备货 、 发 货 时 都 需要 更 新 平台 订单 状态 ， 发 货 以 后 需要 定时 扫描 平台 订单 ， 检 查 确认 情况 ， 商 品 订 单 和 平台 订单 状态 变化 
时 ， 可 以 发 短信 通知 客户 。 
电 商 平台 处 于 浪 涌 冲击 (促销 ) 时 ， 不 允许 查询 平台 订单 状态 等 操作 。 
测试 设计 要 素 清单 并 非 一 个 新 的 测试 设计 方法 ， 而 是 作为 测试 设计 的 参考 信息 之 一 ， 与 测试 设计 常用 的 流程 图 、 状 态 图 、 风 
辑 、 数 据 结构 分 析 等 方法 结合 ， 目 的 是 使 测试 设计 的 时 候 不 容易 遗漏 对 输入 参数 、 处 理 分 支 的 覆盖 。 以 电 商 内 控 系 统 的 “商品 订 
单 处 理 ” 为 例 ， 设 计 的 处 理 流程 如 图 3-7 所 示 。 
结合 测试 设计 要 素 的 逐一 审查 ， 可 以 发 现 “ 平 台 状 态 ” 处 于 过 载 时 ， 可 能 会 导致 “同步 平台 订单 信息 ”操作 失败 ， 可 能 是 返 
回 操作 失败 ， 也 可 能 没有 任何 返回 消息 。 无 论 哪 种 情况 ， 系 统 都 需要 正常 处 理 。 于 是 需 对 测试 设计 进行 补充 ， 如 图 3-8 所 示 。 


图 3-7 商品 订单 处 理 流程 
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图 3-8 ”商品 订单 处 理 流程 测试 方案 分 析 


在 我 们 的 产品 中 ， 测 试 设计 要 素 清单 在 新 特性 的 测试 设计 时 完成 初稿 ， 在 产品 上 线 后 通过 对 客户 问题 的 分 析 进 行 补充 。 


以 上 介绍 的 只 是 解决 问题 的 一 种 思路 。 我 们 的 产品 中 ， 有 一 些 数 据 模型 超级 复杂 ， 不 仅 测 试 设计 要 素 多 ， 而 且 要 素 之 间 还 要 
考虑 组 合 ， 采 用 上 面 的 思路 改善 测试 设计 始终 是 杯水车薪 ， 无 法 达到 理想 的 履 盖 范围 。 产 品 测试 团队 探索 了 一 个 行 之 有 效 的 做 
法 : 随机 抽取 一 段 时 间 的 用 户 操作 及 其 对 应 的 数据 ， 在 版 本 发 布 之 前 在 实验 环境 上 进行 回放 ， 这 样 一 来 ， 现 实 存 在 的 绝 大 部 分 数 
据 组 合 和 业务 场景 就 被 覆盖 了 。 对 大 部 分 互联 网 公司 而 言 ， 这 个 思路 都 是 一 个 不 错 的 选择 。 实 施 这 个 思路 需要 产品 做 一 些 工作 : 
系统 在 处 理 完 任何 一 个 事务 后 ， 都 需要 留 下 足够 详细 的 记录 ， 测 试用 这 个 记录 可 以 还 原 用 户 业 务 场景 ， 形 成 一 个 包含 预 置 条 件 、 
操作 步骤 、 预 期 结果 在 内 的 完整 用 例 。 


3.2.5 “客户 问题 RCA 分 析 


扩展 测试 类 型 和 优化 测试 分 析 ， 目 的 都 是 使 以 前 遗漏 到 客户 的 那些 类 型 的 缺陷 ， 在 以 后 的 测试 中 能 拦截 下 来 。 所 以 ， 在 确定 


方法 之 前 ， 需 要 分 析 那 些 遗漏 到 客户 使 用 时 才 发 现 的 缺陷 ， 以 找到 测试 过 程 或 方法 中 存在 的 薄弱 点 。 


客户 问题 分 析 比 较 推荐 的 方法 是 根本 原因 分 析 (RCA) ， 这 是 一 种 回溯 性 失误 分 析 方 法 ， 包 括 确定 和 分 析 问 题 原因 ， 找 出 问 
题解 决 办 法 ， 并 制订 问题 拦截 和 预防 措施 。RCA 的 一 般 分 析 过 程 如 图 3-9 所 示 。 


直接 原因 拦截 措施 


确认 问题 


收集 、 核 实数 据 人 
预防 措施 ' 推广 应 用 ， 
间接 原因 
收集 信息 一 一 一 一 一 分 析 、 确 定 原因 一 一 一 一 解决 问题 一 一 一 一 一 一 结果 评估 
图 3-9 RCA 分 析 过 程 
在 问题 发 生 后 ， 首 先 通 过 访谈 和 资料 分 析 收 集 尽 可 能 完整 的 问题 信息 和 数据 。 然 后 通过 头脑 风暴 、 鱼 骨 图 、 因 果 图 、5why 


等 分 析 方 法 确定 直接 原因 (问题 发 生 时 事物 的 状态 、 进 行 的 操作 ， 比 如 服务 工程 师 误 操作 ) 、 根 本 原因 (导致 问题 必然 发 生 的 最 
本 质 原因 ， 比 如 操作 没有 分 级 权限 控制 ) 、 间 接 原 因 (导致 问题 发 生 的 其 他 影响 原因 ， 比 如 操作 员 是 新 手 ) 。 最 后 针对 分 析出 来 
的 各 个 原因 制订 对 应 的 改进 措施 ， 并 在 措施 实施 后 进行 结果 的 核实 和 成 果 的 推广 。 


根本 原因 分 析 是 一 个 通用 的 方法 ， 在 不 同 领域 应 用 时 ， 需 要 结构 化 的 具体 方法 ， 用 于 解决 不 同 领域 的 具体 问题 。 
测试 进行 客户 问题 的 根本 原因 分 析 ， 主 要 是 进行 如 下 调查 和 追溯 : 


1) 缺陷 在 项 目的 哪个 阶段 被 发 现 ， 缺 陷 的 触发 条 件 、 外 在 表现 和 业务 影响 有 哪些 。 这 些 是 缺陷 的 背景 信息 ， 用 于 今后 确定 
改进 的 优先 级 和 设计 用 例 。 通 常 触 发 条 件 不 明 的 缺陷 ， 不 会 进行 根本 原因 分 析 。 


2) 缺陷 的 引入 阶段 和 引入 的 直接 原因 、 间 接 原因 、 根 本 原因 ， 如 何 避 免 引 入 这 个 缺陷 ”缺陷 引入 的 原因 可 能 是 需求 中 缺乏 
相关 信息 、 代 码 实 现 的 踊 忽 、 人 员 交 接 的 遗漏 等 。 通 常 缺陷 都 不 是 测试 引入 的 ， 追 问 引入 的 原因 ， 主 要 是 为 了 找到 问题 改进 的 合 
伙 人 。 


3) 缺陷 应 该 在 哪个 阶段 发 现 ， 测 试 遗 漏 的 直接 原因 、 间 接 原因 、 根 本 原因 ， 如 何 才能 发 现 ” 这 是 测试 进行 RCA 分 析 的 核 
心 ， 原 因 可 能 是 需求 分 析 错 误 、 测 试 设计 遗漏 、 缺 少 观察 点 等 。 测 试 就 是 根据 这 些 信 息 最 终归 整 出 改进 方法 。 

4) 在 分 析 原 因 、 制 订 解 决 措施 的 时 候 ， 尽 可 能 追问 到 根 因 ， 并 且 针对 各 层 原 因 确定 相应 的 解决 措施 。 在 局 动 专项 改进 工作 
后 ， 还 需要 根据 技术 难度 、 实 施 成 本 以 及 目标 达成 ， 确 定 究竟 采取 哪些 措施 、 从 那 一 层 着 手 拦截 缺陷 。 


RCA 分 析 中 ， 测 试 遗漏 的 根 因 分 析 是 最 关键 的 环节 。 在 我 的 经 验 中 ，RCA 分 析 首先 要 注意 : 追问 到 技术 原因 ， 避 免 把 责任 心 
之 类 的 人 为 原因 作为 根 因 。 很 多 时 候 需要 追问 3~ 5 次 才能 找到 真正 的 根 因 。 


下 面 以 缺少 观察 点 导致 了 数据 不 一 致 缺陷 的 遗漏 为 例 ， 说 明 RCA 问 题 分 析 和 改进 措施 制订 过 程 。 问 题 原因 和 措施 如 表 3-2 所 


个 \。 


表 3-2 RCA 根 因 分 析 举 例 


原因 类 有 别 
这 个 特性 的 用 例 没 有 写 上 需要 给 这 组 用 例 的 预期 结果 增加 检 
检查 数据 一 致 性 
实际 上 所 有 用 例 测 试 完 都 要 检 
为 什么 没有 写 上 这 | 查 ， 是 缺 省 检查 点 ， 执 行 这 个 特 了 一 个 测试 执行 指导 书 ， 把 缺 
个 检查 点 性 测试 的 是 新 人 ， 不 知道 有 缺 省 | 省 检查 点 全 部 列 上 ， 避 免 遗 漏 
检查 点 


为 什么 遗漏 直接 原因 


间接 原因 


问 题 原因 类 别 


写 一 个 后 台 检 查 工具 ， 在 事务 
结束 时 自动 触发 检查 ， 一 旦 发 现 | 根本 原因 
不 一 致 就 报警 


如 果 知 道 有 缺 省 检 默认 要 检查 的 内 容 很 多 ， 全 部 
查 点 就 一 定 会 检查 吗 | 检查 测试 效率 至 少 打 五 折 


第 一 次 追问 why， 得 到 直接 原因 ， 措 施 可 以 拦截 这 个 缺陷 ， 但 同类 缺陷 无 法 拦截 ， 治 标 不 治本 。 
第 二 次 追问 why， 得 到 间接 原因 ， 措 施 可 以 拦截 这 个 缺陷 ， 也 可 以 拦截 同类 缺陷 ， 但 缺乏 可 实施 性 ， 隔 靴 播 痒 。 


三 次 追问 why， 找 到 根本 原因 ， 措 施 可 以 拦截 这 类 缺陷 ， 改 进 彻底 且 可 持续 。 


进行 RCA 分 析 的 工作 量 比较 大 ， 因 此 不 可 能 对 全 部 客户 问题 进行 分 析 ， 可 以 先进 行 一 遍 粗 略 的 筛选 ， 选 出 价值 大 或 者 典型 的 
问题 进行 分 析 


3.2.6 ”提升 能 力 的 目的 是 解决 问题 


我 们 的 很 多 产品 ， 都 是 以 这 类 缺陷 的 爆发 作为 测试 团队 、 测 试 技术 建设 的 契机 ， 因 为 这 时 测试 工作 会 比较 容易 获取 所 需 的 人 
力 和 设备 资源 。 但 是 也 有 不 少 人 在 有 这 个 机 会 时 ， 却 把 事情 做 磺 了 ， 究 其 原因 ， 不 外 乎 : 


产品 对 测试 的 投入 长 期 不 足 使 得 测试 技术 欠 账 太 多 ， 终 于 质量 问题 开始 失控 ,让 研发 团队 痛 下 决心 ， 加 大 对 测试 的 人 力 投 
入 。 测 试 经 理 终于 有 了 喘息 之 机 ， 把 很 久 就 想 做 的 测试 设计 方法 应 用 、 自 动 化 、 测 试 方案 模板 规范 化 、DFX 测 试 ….. 一 一 落实 。 


那么 ,问题 来 了 : 干 头 万 绪 ， 从 哪里 开始 ”要 不 就 是 基于 最 近 出 现 的 、 客 户 反 应 激烈 的 几 个 问题 ; 要 不 就 是 测试 经 理 有 印象 
的 一 些 问题 ;要 不 就 干脆 不 是 基于 问题 ， 而 是 测试 经 理 或 几 个 专家 个 人 的 技术 偏好 。 具 体 实 施 某 一 项 工作 ， 比 如 测试 设计 ， 开 展 
的 工作 就 是 组 织 团队 学 习 测 试 类 型 、 测 试 设计 方法 ， 制 订 测 试 的 各 种 模板 ， 把 写 的 好 的 测试 方案 和 用 例 做 成 样板 或 案例 ……， 测 
试 团 队 致 力 于 学 会 使 用 标准 的 方法 和 模板 ， 使 测试 终于 像 一 个 有 技术 含量 的 工作 ， 但 是 却 完全 忘 了 当初 为 什么 要 做 这 些 。 


最 后 ， 在 局 外 人 来 看 ， 测 试 团队 就 是 利用 这 些 人 ， 做 了 最 基础 的 、 本 来 早 就 该 做 好 的 事情 ， 真 正 的 业务 问题 ， 并 没有 思路 和 
行动 去 解决 。 

这 并 不 是 说 不 能 在 这 个 时 间 进 行 基础 能 力 建设 ， 而 是 说 不 能 止步 于 此 ， 需 要 着 眼 于 问题 ， 从 问题 分 析 得 到 解决 方案 ， 有 能 
则 补 齐 短 板 ， 最 后 以 新 具备 的 能 力 为 基础 ， 结 合 其 他 辅助 手段 完成 解决 方案 的 实施 ， 最 终 解决 问题 。 这 样 才 算 完 成 了 一 个 问题 闭 
合 的 循环 ， 如 图 3-10 所 示 。 


问题 分 析 


问题 闭环 


解决 方案 基础 能 力 
实施 短 板 伞 齐 


图 3-10 ”提升 缺陷 发 现 能 力 的 循环 


3.2.7。” 预 则 立 不 预 则 废 一 一 重视 网 上 问题 分 析 


即使 是 成 熟 的 测试 团队 也 可 能 会 遇 到 这 类 问题 。 产 品 被 用 于 新 的 客户 时 ， 由 于 客户 内 部 组 织 、 业 务 运营 、 发 展 历史 、 文 化 等 
环境 不 同 ， 产 品 上 线 初期 几乎 都 会 出 现 这 类 问题 。 如 果 产 品 是 一 个 统一 版 本 用 于 多 个 客户 ， 遇 到 这 类 问题 的 机 会 就 更 大 了 。 


可 能 研发 团队 的 所 有 成 员 ， 包 括 测试 自己 ， 在 遇 到 这 类 问题 时 ， 都 会 觉得 测试 应 该 可 以 独自 解决 这 个 问题 ， 提 升 测试 设计 能 
力 就 可 以 了 ， 因 为 很 多 时 候 ， 只 要 测试 执行 时 那样 操作 了 ， 缺 陷 是 显而易见 的 。 但 是 真正 分 析 这 些 问 题 ， 会 发 现 当初 在 测试 设计 
的 时 候 ， 测 试 工程 师 根 本 没有 相应 的 信息 : 不 知道 客户 还 在 用 这 个 型 号 的 机 器 、 不 知道 客户 会 这 么 用 、 不 知道 有 这 种 类 别 的 用 户 
等 。 所 以 这 个 问题 要 改进 ， 很 多 时 候 是 需要 市 场 代表 、 系 统 工程 师 、 测 试 工程 师 合作 的 。 


推荐 的 做 法 是 : 持续 搜集 和 分 析 在 客户 验收 、 应 用 中 发 现 的 问题 ， 对 问题 至 少 分 析 到 软件 设计 和 测试 设计 的 改进 方法 ， 周 期 
性 地 进行 统计 。 这 样 ， 当 某 类 问题 比较 突出 的 时 候 ， 可 以 把 包括 问题 、 解 决 方法 、 需 要 的 协助 (这 个 很 重要 ) 、 改 进 后 的 效果 等 
信息 完整 、 及 时 地 拿 出 来 。 


一 般 开 始 统计 之 前 确定 的 分 类 维度 是 特性 、 缺 陷 严 重 级 别 等 ， 这 样 分 类 并 不 利于 问题 的 聚焦 和 解决 措施 的 制订 ， 建 议 早 期 分 
析 积 累 一 定 的 信息 后 ， 采 用 亲 和 图 法 (一 种 质量 分 析 的 方法 ) 逐步 形成 具有 产品 特点 的 分 类 统计 的 维度 。 


通常 ， 在 客户 没有 激烈 的 反应 的 时 候 ， 研 发 团队 也 不 会 太 在 意 这 些 问 题 ， 但 是 一 旦 客户 开始 投诉 ， 留 给 改进 的 时 间 窗 就 非常 
豆 。 所 以 ， 建 议 在 产品 开始 应 用 之 初 ， 就 开始 搜集 、 分 析 客 户 发 现 的 所 有 问题 ， 当 研发 团队 没有 将 问题 改进 提 到 议事 日 程 的 时 
候 ， 测 试 先 有 信息 和 方法 、 工 具 方 面 的 准备 ， 一 旦 问题 爆发 ， 就 能 够 给 出 多 角色 合作 解决 问题 的 可 行 方案 。 


测试 团队 既 要 重视 测试 设计 ， 也 要 重视 客户 问题 的 分 析 ， 这 是 测试 最 重要 的 两 个 手段 ， 无 论 是 个 人 能 力 提升 ， 还 是 团队 技术 
积累 都 要 用 到 |。 


3.3 受 攻击 出 错 
3.3.1 问题 案例 


我 们 的 产品 中 遇 到 的 这 类 问题 并 不 多 见 ， 最 典型 的 就 是 春节 、 麦 加 朝贡 时 ， 由 于 通信 需求 骤然 增 大 对 产品 产生 的 浪 涌 冲 击 。 
我 们 的 产品 就 是 在 这 样 的 考验 下 ， 由 最 初 的 业务 请 求 不 断 堆 积 形成 拥塞 ， 甚 至 无 法 进行 维护 操作 ， 直 至 系统 完全 月 演 ; 到 后 来 在 
32 倍 浪 涌 冲 击 下 ， 都 能 保持 业务 处 理 能 力 。 相 应 的 测试 方法 和 工具 ， 也 是 随 着 产品 可 靠 性 能 力 的 增强 同步 建设 完善 的 。 

众所周知 ， 目 前 很 多 互联 网 产品 的 安全 防护 能 力 是 较 弱 的 ， 有 一 次 一 个 同事 兴奋 地 和 我 说 ， 他 获得 了 一 项 新 技能 ， 只 用 最 简 
单 的 横向 越权 手段 ， 就 通过 移动 的 网 上 营业 厅 获 取 了 我 手机 的 全 部 通话 记录 ! 


这 类 问题 典型 的 有 : 被 黑客 攻击 ， 网 络 风暴 ， 对 系统 的 人 为 误 操作 ， 对 硬件 设备 的 误 操 作 ， 自 然 灾 害 导 致 停止 服务 等 。 
3.3.2 ”解决 问题 的 思路 


【一 般 处 理 原 则 】 


通常 这 类 错误 的 解决 思路 是 在 产品 中 增加 安全 防护 、 备 份 恢复 、 过 载 控制 、 故 障 检 测 和 恢复 机 制 ， 而 不 是 试图 通过 测试 把 这 
些 缺 陷 都 挖 出 来 。 


【解决 方法 】 


这 类 缺陷 的 发 现 条 件 是 : 产品 受到 了 攻击 ， 因 此 ， 通 过 攻击 的 方法 实现 缺陷 的 拦截 是 很 自然 的 选择 。 通 过 对 产品 进行 攻击 ， 
爹 验 新 加 上 的 机 制 是 否 在 各 种 已 知 攻击 下 都 能 够 生效 。 通 常 可 以 根据 网 络 上 公布 出 来 的 安全 性 漏洞 (如 中 国 国家 信息 安全 漏洞 
库 www.cnnvd.org.cn 公 布 的 漏洞 库 ) 和 可 靠 性 故障 模式 (如 国 军 标 GJB/Z1391 一 一 2006 定 义 的 故障 模式 ) ， 加 上 产品 的 已 知 
缺陷 ， 形 成 一 个 安全 性 漏洞 和 可 靠 性 故障 的 模式 库 ， 这 个 模式 库 既 是 产品 进行 可 靠 性 和 安全 性 机 制 设计 的 依据 ， 也 是 测试 人 员 开 
展 攻击 测试 的 依据 。 因 此 ， 模 式 库 的 建设 通常 是 产品 设计 人 员 主 导 ， 测 试 工程 师 根据 网 上 问题 的 分 析 进 行 补充 ， 并 且 确 定 每 种 攻 
击 的 模拟 的 方法 。 


选择 攻击 方法 时 不 能 完全 依赖 对 客户 问题 分 析 ， 这 样 太 被 动 。 网 上 公布 的 安全 性 漏洞 和 可 靠 性 故障 模式 ， 是 从 大 量 的 产品 报 
告 的 缺陷 中 总 结 出 来 的 ， 以 这 些 为 基础 ， 可 以 用 较 小 的 代价 达到 比较 全 面 的 履 盖 效果 。 


3.3.3 ”建设 故障 模式 库 


故障 模式 库 是 可 靠 性 测试 的 依据 ， 测 试 时 逐一 模拟 库 中 的 每 一 种 故障 模式 对 产品 进行 攻击 ， 考 验 可 靠 性 机 制 能 否 确保 产品 在 
这 些 攻击 下 保持 正常 的 业务 处 理 。 


安全 漏洞 库 的 作用 和 故障 模式 库 的 作用 类 似 ， 考 验 的 是 安全 性 机 制 能 否 在 这 些 攻击 下 ， 确 保 产 品 的 服务 不 中 断 、 无 故障 ， 数 
据 不 被 非法 盗 取 和 利用 。 


对 于 我 们 的 产品 ， 建 设 得 相对 比较 早 的 是 可 靠 性 故障 模式 库 ， 安 全 性 漏洞 库 的 建设 近 几 年 投入 比较 大 也 基本 成 形 。 一 个 故障 
模式 (漏洞 模式 大 体 类 似 ) 包含 的 内 容 有 : 


1) 分 类 。 比 如 物理 组 网 、 硬 件 、 业 务 流程 、 业 务 数据 等 。 
2) 故障 模式 。 故 障 模式 的 名 称 及 其 具体 描述 。 比 如 文件 服务 器 不 可 用 ，CPU 占 用 过 高 等 。 
3) 优先 级 。 根 据 故 障 发 生 的 频率 和 影响 范围 确定 的 优先 级 ， 高 优先 级 的 故障 产品 必须 有 相应 的 保护 机 制 。 


4) 故障 处 理 。 约 定 故 障 处 理 的 原则 和 预期 效果 。 故 障 处 理 的 原则 有 : 进行 根 因 告警 (故障 根本 原因 的 告警 ， 只 要 处 理 了 这 
个 故障 ， 由 这 个 故障 引起 的 一 系列 异常 都 会 自动 恢复 ) ;自动 恢复 (产品 通过 可 靠 性 机 制 自动 消除 故障 ， 故 障 处 理 无 需 人 工 干 
预 ) ; 手工 恢复 等 。 预 期 效果 则 与 处 理 原则 有 关 ， 比 如 自动 恢复 就 需要 说 明 由 哪个 特性 实现 自动 恢复 ， 手 工 恢复 就 需要 说 明 恢 复 
的 方法 。 


5) 故障 模拟 方法 。 故 障 使 用 什么 方法 、 工 具 来 模拟 。 


测试 人 员 在 使 用 故障 模式 库 进 行 测试 的 时 候 ， 还 需要 补充 一 些 通 用 的 预期 结果 ， 比 如 : 故障 恢复 的 标志 是 业务 恢复 还 是 性 能 
恢复 ; 单个 故障 引发 的 告警 不 能 超过 3 条 ; 故障 从 触发 到 恢复 的 时 间 不 超过 XX 分 钟 等 。 


我 们 的 各 产品 线 都 有 安全 性 漏洞 库 和 故障 模式 库 的 基准 库 ， 故 障 模式 基准 库 的 结构 如 表 3-3 所 示 ， 安 全 漏洞 库 的 结构 与 之 类 
似 。 产 品 会 在 基准 库 的 基础 上 进行 定制 。 


表 3-3 ”故障 模式 库 内 容 结 构 


分 类 故障 模式 优先 级 故障 处 理 故障 模拟 方法 


根 因 告警 : 文件 服务 器 连接 异 党 


硬件 | 文件 服务 器 不 可 用 中 , i i 文件 服务 器 断 电 
es 自动 恢复 : 自动 切换 到 备用 服务 器 0 

2 i 告警 : 进程 异常 。 

软件 高 Kill -s SIGSEGV PID 


自动 恢复 : 守护 进程 重新 拉 起 X x 进程 


3.3.4 ”DFX 测 试 能 力 提升 的 线路 


可 靠 性 和 安全 性 测试 能 力 提 升 ， 走 了 两 条 完全 不 同 的 线路 。 


产品 的 可 靠 性 及 其 测试 能 力 ， 是 在 不 断 满 足 产品 应 用 场景 需求 的 过 程 中 ， 同 步 成 长 起 来 的 。 我 们 测试 团队 的 可 靠 性 测试 内 容 
经 历 了 3 个 阶段 的 发 展 : 


1) 特性 测试 。 针 对 可 靠 性 设计 进行 的 测试 ， 例 如 主 备 双 机 元 余 的 设计 方案 中 ， 当 接收 到 切换 命令 、 或 主机 主 进程 退出 、 或 
主机 心跳 中 断 的 时 候 ， 就 触发 双 机 切换 ， 原 来 的 主机 变 成 备 机 ;原来 的 备 机 变 为 主机 。 测 试 时 ， 需 要 逐一 验证 这 些 方式 能 否 正确 
触发 双 机 切换 。 当 然 ， 也 会 验证 产品 、 进 程 在 各 种 状态 下 触发 双 机 切换 ， 但 基本 上 是 围绕 设计 进行 的 测试 。 


2) 故障 注入 。 在 可 靠 性 机 制 基 本 开发 完成 后 ， 开 发 和 测试 都 开始 天 心 这 些 机 制 能 否 在 各 种 异常 和 极端 情况 下 ， 充 当 产 品 最 
后 的 防护 垫 ， 保 持 正常 业务 不 中 断 。 于 是 ， 测 试 重心 开始 转向 故障 注入 测试 ， 构 造 各 种 软件 、 硬 件 、 网 络 、 环 境 的 异常 ， 检 验 产 
品 的 可 靠 性 机 制 在 这 些 情况 下 能 否 生效 。 这 时 候 的 测试 依据 ， 主 要 是 通过 对 网 上 问题 的 长 期 分 析 积 累 下 来 的 故障 模式 库 。 


3) 可 靠 性 指标 测试 。 在 产品 的 应 用 中 发 现 ， 客 户 天 心 的 不 仅仅 是 故障 发 生 后 产品 能 否 恢复 ， 他 们 更 关心 恢复 花 了 多 长 时 
间 ， 有 多 少 业 务 和 用 户 受到 影响 。 于 是 ， 产 品 开始 细 分 各 类 故障 的 恢复 方法 ， 而 测试 则 开始 在 故障 注入 测试 的 基础 上 ， 对 故障 自 
动 恢复 率 (缩短 故障 恢复 时 长 ) 、 业 务 恢复 时 长 (减少 对 业务 和 用 户 的 影响 ) 等 可 靠 性 指标 进行 采集 和 分 析 (可 靠 性 指标 参见 
4.1.2 节 “测试 结果 数据 的 内 容 ”) 。 但 是 ， 在 指标 测试 中 ， 目 前 还 没有 方法 计算 产品 的 可 靠 性 能 够 达到 几 个 9 (电信 设备 一 般 要 
求 5 个 9， 一 年 停机 时 间 不 超过 5 分 钟 ) 。 


由 于 可 靠 性 的 测试 能 力 是 通过 一 个 自然 的 过 程 生长 起 来 的 ， 因 此 ， 所 需要 的 方法 、 工 具 ， 包 括 如 何 融入 研发 流程 ， 这 些 都 是 
以 产品 的 测试 团队 为 主力 完成 的 。 产 品 之 间 的 交流 ， 优 秀 经 验 、 方 法 和 工具 的 整理 和 传递 ， 业 界 新 方法 和 工具 等 信息 的 搜寻 、 获 
取 、 交 流 ， 要 通过 一 个 很 小 的 技术 团队 来 支撑 。 


产品 的 安全 性 及 其 测试 能 力 ， 则 走 了 一 条 不 同 的 路 。 安 全 性 受到 重视 ， 是 由 于 产品 进入 某 些 市 场 遇 到 了 门槛 ， 几 乎 是 一 夜 之 
间 就 要 求 所 有 产品 给 出 满足 安全 要 求 的 计划 表 。 因 此 ， 很 多 产品 的 安全 性 是 以 “测试 驱动 开发 ”的 方式 建立 的 : 


首先 由 专门 的 安全 测试 团队 对 产品 进行 基本 的 安全 性 评估 ; 然后 由 安全 设计 团队 指导 产品 ， 根 据 评估 情况 和 设计 要 求 进行 安 
全 性 的 专项 开发 ; 最 后 再 由 安全 测试 团队 和 产品 测试 团队 共同 进行 安全 性 评估 ， 并 进行 验收 ， 确 认 符合 安全 性 要 求 。 


安全 测试 团队 对 产品 的 安全 性 测试 包含 两 部 分 内 容 : 


1) 特性 测试 。 针 对 安全 性 设计 进行 的 测试 ， 例 如 身份 验证 中 ， 对 密码 复杂 度 的 要 求 、 信 息 传输 通道 要 求 、 存 储 方 式 都 有 相 
应 的 设计 。 测 试 时 ， 需 要 逐一 验证 这 些 需求 和 设计 的 实现 情况 。 这 些 内 容 由 产品 测试 团队 随 版 本 开发 进行 测试 。 


2) 安全 攻击 。 和 寻找 漏洞 进行 安全 攻击 ， 例 如 针对 身份 验证 ， 利 用 各 种 可 能 的 手段 ， 寻 找 绕 过 、 欺 骗 身份 验证 的 方法 ， 以 达 
到 非法 进入 系统 进行 操作 、 或 者 获取 信息 的 目的 。 由 于 产品 测试 团队 没有 足够 的 时 间 掌 握 安全 攻击 测试 的 能 力 ， 因 此 组 建 了 一 个 
跨 产品 的 、 专 职 的 安全 测试 团队 ， 完 成 安全 漏洞 库 、 安 全 攻击 方法 的 能 力 建设 ， 并 进行 产品 的 安全 攻击 及 安全 性 评估 工作 。 


由 于 安全 性 测试 能 力 是 通过 一 次 强行 推行 建立 起 来 的 ， 测 试 所 需要 的 方法 、 工 具 ， 研 发 流程 的 改造 ， 这 些 都 是 以 专门 的 安全 
性 团队 为 主力 完成 的 ， 目 前 并 没有 完全 融入 产品 的 研发 团队 和 研发 过 程 中 。 


如 果 有 时 间 和 机 会 的 话 ， 随 着 产品 的 发 展 让 测试 能 力 自然 的 演进 ， 这 是 比较 理想 的 方式 ， 可 以 根据 业界 其 他 人 的 经 验 加 快 生 
长 速度 ， 少 走 弯路 ， 但 是 ， 最 好 不 要 寄 希 望 于 一 口气 吃 个 胖子 。 


以 这 里 提 到 的 可 靠 性 和 安全 性 测试 为 例 ， 从 把 可 靠 性 测试 作为 一 个 专门 的 门类 进行 发 展 ， 到 形成 可 靠 性 指标 ， 前 后 大 约 经 历 
了 5~6 年 时 间 ， 可 靠 性 的 方法 和 工具 始终 都 在 产品 中 发 挥 作 用 ， 也 和 产品 的 架构 、 网 络 位 置 有 较 好 的 适 配 。 随 着 技术 的 发 展 ， 产 
品 的 可 靠 性 测试 专家 也 获得 了 个 人 的 发 展 。 


而 安全 性 测试 ， 从 公司 下 达 要 求 至 今 也 已 经 是 第 4 个 年 头 ， 仍 然 没 有 几 个 产品 测试 团队 掌握 了 安全 攻击 测试 方法 和 工具 。 可 
见 ， 采 用 集中 突破 的 方式 ， 不 一 定 能 够 加 速 技术 在 产品 的 落地 应 用 。 当 然 ， 这 种 方式 对 于 快速 响应 需求 还 是 有 帮助 的 ， 只 是 在 响 
应 了 需求 以 后 ， 要 把 这 些 落 实 成 为 产品 及 其 研发 团队 的 常规 能 力 ， 该 走 的 路 省 不 了 。 


3.3.5 “重视 行业 信息 的 长 期 积累 


如 果 产 品 受 攻击 导致 服务 质量 降低 ， 研 发 通常 会 启动 相应 的 专项 研究 来 改进 项 目 。 测 试 如 果 想 在 这 类 项 目 中 取得 主动 ， 把 项 
目 做 成 由 问题 驱动 的 改进 。 关 键 的 一 点 就 是 ， 测 试 人 员 是 否 在 日 常 工作 中 就 关注 业界 的 相关 新 闻 、 资 讯 、 成 熟 的 方法 和 工具 ， 并 
注意 产品 相关 问题 的 分 析 和 积累 。 这 样 在 方案 的 讨论 中 ， 就 能 够 提供 更 多 的 信息 ， 测 试 提供 的 信息 如 果 丰 富 且 有 结构 性 ， 就 能 
给 研发 团队 解决 问题 的 信心 。 


一 般 搜 集 和 整理 这 类 信息 ， 可 以 从 3 个 角度 进行 : 看 业界 一 一 整个 软件 行业 和 测试 领域 的 相关 信息 ; 看 同行 
品 或 同 领域 的 业务 或 同 公司 的 其 他 产品 的 相关 信息 ; 看 自己 一 一 自己 产品 的 相关 问题 及 其 影响 。 


同形 态 的 产 


在 5.1.2 节 “拓展 测试 领域 知识 的 广度 ”中 介绍 了 一 些 软件 测试 行业 信息 的 获取 渠道 ， 但 可 靠 性 和 安全 性 测试 的 技术 ， 通 过 
这 些 渠道 分 享 的 比较 少 ， 更 多 的 还 是 需要 通过 分 析 安 全 性 测试 (software safety testing) 和 可 靠 性 测试 (software reliability 
testing) 的 文章 和 论文 来 获取 相关 信息 。 


建议 测试 团队 中 ， 固 定 一 个 经 验 相对 丰富 或 思维 相对 活跃 的 人 ， 对 可 靠 性 和 安全 性 方面 的 技术 做 比较 长 期 的 跟踪 。 基 本 上 软 
件 产品 发 展 一 段 时 间 后 ， 都 会 分 离 出 相对 核心 的 平台 部 分 ， 这 部 分 对 可 靠 性 和 安全 性 会 有 较 高 的 要 求 ， 也 有 比较 大 的 机 会 去 集中 
解决 这 方面 的 遗留 问题 。 


3.4 ”随机 出 错 


3.4.1 ”问题 案例 


十 多 年 前 我 曾经 参与 解决 一 个 产品 的 随机 问题 ， 这 个 问题 导致 产品 宕 机 ， 重 启 后 就 能 正常 处 理 业 务 ， 但 是 宕 机 在 一 个 月 内 总 
会 发 生 ， 时 间 不 固定 ， 也 没有 发 现 和 哪些 操作 有 关系 。 这 个 问题 持续 影响 客户 的 应 用 长 达 几 个 月 ， 一 直 无 法 定位 解决 。 后 来 公司 
在 面 对 各 方 的 巨大 压力 下 ， 和 暂停 新 特性 的 开发 ， 让 整个 团队 花 了 一 个 月 的 时 间 ， 终 于 定位 了 这 个 由 于 魔鬼 数字 引起 的 问题 ， 仪 仅 
问题 重 现 就 伦 了 差不多 3 周 。 


这 类 问题 典型 的 有 : 产品 偶尔 无 规律 地 宕 机 ; 用 户 偶 尔 无 规律 地 无 法 操作 或 操作 出 错 ; 进行 简单 恢复 后 ， 不 再 必然 出 现 的 故 


3.4.2 ”解决 问题 的 思路 


【一 般 处 理 原 则 】 


通常 这 类 错误 的 解决 思路 ， 是 提升 代码 质量 ， 并 为 产品 加 上 故障 检测 和 自动 恢复 的 能 力 ( 即 检测 到 宕 机 或 长 时 间 无 心跳 就 复 
位 重启 ) ， 而 不 是 试图 通过 测试 把 这 些 缺 陷 都 挖 出 来 。 


【解决 方法 】 
发 生 这 类 问题 的 必然 条 件 没有 被 找到 ， 因 而 也 无 法 根据 问题 分 析 找 到 测试 流程 或 方法 的 薄弱 点 ， 也 就 无 法 进行 有 目的 测试 设 


计 或 改进 测试 执行 方法 。 

根据 以 往 经 验 ， 这 类 缺陷 通常 是 编码 质量 存在 问题 ， 因 此 第 一 选择 是 提升 代码 质量 。 即 使 用 静态 测试 工具 对 代码 进行 检查 ， 
排除 容易 引起 越界 、 空 值 一 类 的 问题 ， 如 果 问 题 的 影响 比较 大 ， 还 会 进行 代码 走 查 ， 排 除 代 码 逻 辑 上 的 错误 。 

针对 故障 检测 和 自动 恢复 能 力 的 测试 在 前 一 个 章节 介绍 可 靠 性 测试 中 已 经 描述 。 如 果 这 类 问题 出 现 得 比较 多 ， 那 么 在 常规 测 
试 ( 指 功能 测试 、 性 能 测试 等 ) 中 就 需要 能 够 对 这 些 错误 进行 后 台 的 、 自 动 的 检测 ， 一 旦 检测 到 错误 ， 还 需要 能 够 回溯 一 段 时 间 
的 操作 序列 ， 并 且 能 够 对 错误 现场 进行 快照 ， 以 方便 问题 的 定位 解决 。 


3.4.3 ”利用 工具 提高 错误 检 出 率 


在 我 们 的 产品 中 ， 当 需要 减少 随机 出 错时 ， 首 选 的 方法 就 是 代码 静态 测试 。 对 用 户 量 大 的 产品 ， 如 果 随 机 出 错 比较 严重 ( 比 
如 每 周 都 出 现 一 两 次 ) ， 会 组 织 代码 质量 改进 的 专项 工作 ， 采 用 的 方法 一 般 是 利用 工具 进行 静态 检查 ， 加 上 人 工 的 代码 审查 。 代 
码 静态 检查 可 选 的 工具 比较 多 ， 但 代码 审查 就 没有 广泛 应 用 的 、 成 体系 的 工具 。 


代码 静态 测试 一 般 是 以 开发 工程 师 为 主体 开展 ， 测 试 参与 的 比较 少 。 


很 多 随机 问题 在 实验 室 测试 也 曾经 出 现 过 ， 但 是 测试 时 没有 检查 到 ， 或 者 偶然 出 现 没 有 被 捕捉 到 ， 或 者 捕获 到 了 但 是 没有 引 
起 开发 组 的 重视 。 因 此 ， 也 有 一 些 产 品 在 解决 这 个 问题 时 采用 的 方法 是 : 开发 错误 检测 工具 。 在 所 有 测试 环境 上 部 署 这 个 工具 ， 
在 整个 测试 过 程 通过 后 台 的 、 自 动 化 的 检测 ， 确 保 能 够 发 现 偶然 问题 。 错 误 检测 工具 应 具备 的 功能 


数据 一 致 性 。 用 户 数 据 的 变动 、 业 务 数据 、 统 计 表 数据 的 一 臻 性。 例如， 销售 收入 统计 与 支付 记录 表 的 支付 情况 、 以 及 用 
户 账 户 的 变动 情况 一 致 。 


* 异常 宕 机 core dump 文 件 。 扫 描 操 作 系 统 和 产品 的 文件 夹 ， 发 现 新 出 现 的 core 文 件 。 


* 文件 数目 和 大 小 。 扫 描 产 品 的 文件 夹 ， 发 现 文件 列表 持续 增长 、 单 个 文件 大 小 持续 增长 、 文 件数 目 和 大 小 超过 门限 的 问 


数据 表 大 小 。 扫 描 产 品 的 数据 库 表 ， 发 现 表 记录 数 持续 增长 、 记 录 数 或 单条 记录 大 小 超过 门限 的 问题 。 


* 产品 和 系统 异常 日 志 。 扫 描 操 作 系统 和 产品 的 日 志文 件 ， 发 现 新 出 现 的 错误 记录 。 


. 业务 流程 阻塞 或 挂 起 或 未 正常 释放 。 检 测 产 品 进 程 心 跳 或 看 门 狗 ， 扫 描 正在 处 理 的 事务 ， 发 现 长 时 间 无 运算 的 事务 。 这 个 


功能 需要 产品 中 有 相应 的 功能 ， 仅 仅 依 靠 工具 无 法 实现 。 


. 系统 资源 异常 波动 监控 系统 的 CPU、 内 存 、 网 络 带 宽 、 文 件 句 柄 等 资源 ， 产 品 的 存活 事务 数 等 资源 ， 发 现 资源 占用 持续 
增长 或 异常 波动 。 


常规 测试 中 进行 后 台 的、 自动 的 宕 机 检测 ， 很 多 产品 都 能 够 做 到 ， 但 是 回溯 操作 、 现 场 快照 则 鲜 有 产品 能 够 做 到 。 对 于 
Web 应 用 ， 操 作 录 制 和 回溯 有 商用 和 开源 的 工具 可 选择 。 


如 果 是 采用 错误 检测 工具 来 拦截 缺陷 ， 这 个 工作 可 以 以 测试 为 主体 开展 ， 但 是 测试 团队 必须 与 开发 团队 达成 默契 : 每 一 个 捕 
获 到 的 异常 都 必须 进行 问题 定位 ， 如 果 开 发 和 测试 工程 师 不 能 谨慎 地 对 待 每 一 个 问题 ， 则 工具 起 到 的 作用 很 有 限 。 


3.4.4 ”通过 测试 解决 这 类 问题 不 是 好 方法 


有 时 候 ， 由 于 研发 经 理 面 对 太 大 的 客户 压力 ， 他 们 会 对 测试 人 员 说 : 你 们 能 不 能 想 办 法 在 实验 室 把 这 些 问题 发 现 了 ?这 样 的 
方法 不 是 没有 ， 但 是 代价 大 到 不 可 接受 。 比 如 把 代码 静态 检查 的 所 有 报错 、 告 警 全 部 改 掉 ， 这 甚至 比重 做 一 遍 产 品 研发 还 要 费 
劲 。 或 者 对 重要 的 类 和 函数 进行 基于 函数 接口 的 故障 注入 测试 ， 这 样 测试 的 效率 非常 低 ， 我 的 经 验 是 一 天 能 测试 不 超过 10 个 用 
例 ， 但 是 用 例 总 数 很 可 能 数 以 干 计 。 


所 以 ， 当 测试 经 理 面 对 这 样 的 期 望 的 时 候 ， 最 好 是 根据 实验 室 测 试 的 情况 以 及 问题 的 特点 ， 和 研发 经 理 澄清 并 理 出 更 可 行 的 


方案 。 如 果实 验 室 也 经 常 出 现 随机 且 无 法 重 现 的 错误 ， 那 么 需要 具备 后 台 错 误 检 测 和 回溯 的 能 力 及 其 工具 ; 如 果实 验 室 从 未 发 现 
这 类 错误 ， 那 么 需要 根据 问题 发 生 的 特点 增加 一 些 测试 内 容 ， 通 常 是 长 时 间 稳 定性 测试 、 构 造 系统 忙 时 的 业务 场景 测试 等 。 


无 论 如何 ， 通 过 测试 发 现 这 类 问题 无 异 于 大 海 捞 针 ， 发 现 了 是 运气 ， 漏 过 了 是 必然 ， 顺 着 研发 经 理 给 的 绳子 ， 测 试 很 多 生僻 


的 用 例 绝 不 是 什么 好 的 方法 。 


事实 上 ， 想 发 现 这 类 问题 ， 不 仅 系统 测试 是 吃力 不 讨好 ， 单 元 测试 也 不 一 定 有 效 ， 代 码 的 静态 测试 可 能 才 是 最 经 济 的 方法 。 


3.5 “分 层 构 建 缺 陷 拦 截 能 力 


找 缺陷 (bug) 是 公认 的 、 测 试 最 基本 的 职责 (或 者 说 价值 ) 。 本 小 节 按照 缺陷 的 激活 条 件 介绍 了 拦截 各 类 缺陷 的 思路 、 方 
法 及 工具 ， 如 表 3-4 所 示 。 


表 3-4 ”拦截 缺陷 所 需 的 方法 和 技术 


安装 或 升级 过 程 中 出 错 ; 新 研发 特 特性 基本 功能 用 例 集 
性 的 基本 功能 有 错 ; 升级 后 原本 正常 特性 基本 业务 场景 用 例 集 
用 户 无 法 正常 使 用 “| 使 用 的 功能 出 错 ; 产品 在 正常 使 用 中 自动 化 测试 


数 次 月 演 ; 正常 使 用 中 有 导致 用 户 有 客户 使 用 数据 、 环 境 、 步 
直接 的 经 济 损失 或 信息 泄露 的 错误 又 的 获取 和 基线 化 
某 些 用 户 无 法 正确 升级 或 使 用 新 、 
老 特性 出 错 ; 新 、 老 特性 在 用 户 进 行 增加 测试 类 
正常 使 用 中 部 分 出 错 | 特别 的 操作 或 使 用 特定 的 数据 时 保护 | 型 ， 完 善 测 试 设 
不 足 、 出 错 或 造成 损失 ; 系统 在 忙 时 | 计 方 法 


测试 类 型 、DFX 测试 
测试 设计 方法 
测试 设计 要 素 清单 


决 陷 分 析 方 法 (RCA) 
处 理 能 力 不 足 或 出 错 率 高 等 We 

被 黑客 攻击 ;网 络 风暴 、 对 系统 的 | ,和 向 和 可 个 | 可靠 性 和 安全 性 攻击 测试 
受 攻击 出 错 人 为 误 操作 、 对 硬件 设备 的 误 操作 、| 号 测 “| “可 靠 性 故障 模式 库 

自然 灾害 导致 停止 服务 等 ee 安全 性 漏洞 模式 库 

产品 偶尔 无 规律 地 宕 机 ; 用 户 偶尔 
随机 出 错 无 规律 地 无 法 操作 或 操作 出 错 ， 进 行 后 台 错 误 检测 


简单 的 恢复 后 ， 故 障 不 再 必然 出 现 


缺陷 拦截 并 没有 放 诸 四 海 而 皆 准 的 方法 ， 需 要 根据 缺陷 的 特点 定制 针对 性 的 方法 ， 如 果 把 拦截 缺陷 比喻 为 近 鱼 ， 不 同 激活 条 
件 的 缺陷 ， 需 要 不 同 捕 鱼 手段 ， 图 3-11 所 示 。 


测试 基线 库 
基本 用 例 集 
: 拦截 基本 功能 错误 
了 j: 基本 业务 能 使 用 

测试 设计 和 DFX 测 试 
提升 覆盖 度 


J: 拦截 日 常 使 用 的 错误 


: 产品 能 正常 使 用 


攻击 测试 一 一 > 


: 提升 安全 性 、 可 靠 性 


图 3-11 缺陷 分 层 拦 截 


基本 用 例 集 、 测 试 基线 库 是 一 个 面积 比较 大 但 是 不 很 密 的 网 ， 作 用 是 “ 捞 大 鱼 ”， 确 保 基 本 的 功能 和 应 用 场景 的 正确 性 ， 
此 ， 这 个 网 追求 的 是 对 特性 、 功 能 、 需 求 、 场 景 层面 的 覆盖 。 


测试 设计 、DFX 测 试 是 针对 新 开发 代码 编织 一 个 个 小 而 密 的 网 ， 目 标 是 无 论 大 小 ， 尽 可 能 捞 出 所 有 的 bug， 确 保 新 增 的 特性 
在 绝 大 部 分 情况 下 都 能 正确 使 用 ， 因 此 ， 这 个 网 追求 的 是 代码 、 分 支 、 逻 辑 、 数 据 层面 的 覆盖 。 


可 靠 性 、 安 全 性 的 攻击 测试 是 “钓鱼 ” (图 3-11 中 蛛网 的 灵感 来 自 于 撒 网 蛛 ， 一 种 用 网 主动 捕猎 的 蜂 蛛 ) ， 目 标 是 确认 产 
品 在 各 种 攻击 发 生 的 时 候 是 否 能 够 正确 提供 服务 ， 确 保 服 务 的 持续 性 和 正确 性 ， 因 此 ， 这 类 测试 追求 的 是 对 攻击 手段 、 异 常 场景 
层面 的 覆盖 。 


前 两 者 是 撒 网 找 “ 鱼 ”， 而 后 者 是 钓 “ 鱼 ”。 捞 鱼 需要 网 织 得 密 ， 履 盖 够 全 ; 钓鱼 则 需要 知道 怎么 才能 让 “ 鱼 ” 上 钓 。 
此 ， 一 般 来 说 ， 进 行 攻 击 测试 需要 更 多 的 分 析 工 作 ， 否 则 可 能 事倍功半 。 


3.6 小 结 


解决 “正常 使 用 中 部 分 出 错 ” 需 要 改进 测试 设计 ; 解决 “ 受 攻击 出 错 ” 需 要 增加 DFX 测 试 ， 这 些 都 是 通常 认为 测试 工作 中 有 
技术 含量 的 部 分 。 


但 是 ， 我 们 的 测试 团队 曾经 做 过 实验 ， 发 现 经 过 不 到 一 个 多 月 对 产品 和 测试 技术 的 学 习 ， 一 个 完全 外 行 的 新 员工 就 可 以 发 现 
产品 70%~80% 的 已 知 缺陷 ， 这 些 缺 陷 包 括 : 基本 功能 错误 和 大 部 分 日 常 使 用 的 错误 。 遗 漏 较 多 的 缺陷， 一 类 是 应 用 场景 不 满足 
要 求 、 各 种 不 一 致 的 缺陷 ， 因 为 新 员工 对 产品 特性 掌握 的 不 全 面 ， 没 有 办 法 根据 可 能 的 相互 影响 ， 进 行 同 场景 下 各 个 功能 的 组 合 
测试 。 一 类 是 特性 对 特殊 或 非常 规 数据 处 理 的 测试 ， 因 为 新 员工 缺乏 这 方面 的 思维 训练 和 经 验 。 


容易 遗漏 的 第 一 类 问题 ， 有 很 多 都 属于 “用 户 无 法 正常 使 用 ”， 因 此 这 类 问题 并 非 最 容易 解决 的 问题 ， 相 反 ， 可 能 是 测试 解 
决 起 来 最 困难 的 问题 。 因 为 实际 项 目 中 ， 这 些 缺 陷 主 要 通过 需求 验证 、 业 务 场景 和 应 用 场景 验证 来 拦截 ， 这 些 测 试 是 基于 需求 
的 ， 但 是 大 部 分 测试 工程 师 最 熟悉 的 是 基于 设计 的 验证 。 需 求 验证 、 业 务 场 景 验证 获取 测试 输入 信息 是 比较 困难 的 ， 具 体 方法 可 
参见 8.1 节 “代表 客户 测试 ”。 


第 4 章 ”提供 数据 


提供 数据 也 是 测试 的 基本 价值 ， 测 试 提供 的 数据 ， 理 论 上 是 研发 团队 进行 各 阶段 决策 的 主要 依据 之 一 。 


测试 提供 的 数据 ， 一 方面 包含 产品 质量 的 结论 ， 这 些 数 据 让 研发 团队 形成 对 产品 质量 的 认 知 ; 另 一 方面 包含 研发 过 程 的 分 
析 ， 这 些 数据 让 研发 团队 其 他 成 员 了 解 和 信任 测试 工作 。 


项 目 阶 段 点 和 结束 时 ， 测 试 提供 的 数据 包括 研发 过 程 、 项 目 结 果 的 度量 数据 、 关 键 指标 和 主要 风险 等 ， 本 章 将 这 些 数据 分 为 
以 下 几 个 部 分 介绍 : 


. 测试 结果 。 最 重要 的 数据 ， 通 常 是 遗留 缺陷 和 各 种 DFX 实 测 指标 。 
. 风险 情况 。 风 险 的 最 终 评估 结果 。 
. 测试 过 程 数据 。 测 试 过 程 中 记录 的 、 对 发 现 研发 过 程 问题 和 产品 缺陷 有 帮助 的 数据 。 


本 章 将 分 别 介绍 各 类 数据 的 作用 、 内 容 ， 以 及 采集 分 析 中 的 经 验 教训 。 


4.1 测试 结果 数据 
4.1.1 测试 结果 数据 的 范围 和 作用 


测试 结果 是 指 在 某 项 测试 完成 后 ， 根 据 测试 过 程 中 获得 的 数据 、 现 象 等 信息 给 出 的 ， 指 示 产 品质 量 的 结论 性 信息 。 例 如 ， 性 
能 测试 完成 后 ， 给 出 测试 结论 : X 业 务 流程 的 性 能 指标 达到 设计 要 求 的 150TPS (每 秒 事务 数 ) ， 测 试 期 间 系 统 响应 延 时 符合 
求 ， 资 源 占 用 稳定 ， 无 其 他 异常 。 


测试 结果 典型 的 如 : 遗留 缺陷 数量 和 级 别 ， 主 要 业务 流程 的 TPS， 安 装 耗 时 ， 主 要 操作 的 平均 响应 延 时 等 。 

【作用 】 

这 部 分 数据 是 测试 所 提供 的 数据 中 最 重要 的 一 部 分 ， 通 常 在 版 本 发 布 之 前 提供 出 来 ， 供 产品 团队 的 各 个 角色 确定 产品 是 否 发 
布 ， 在 什么 范围 发 布 ， 上 线 时 和 上 线 后 需要 做 什么 安排 。 


4.1.2 ”测试 结果 数据 的 内 容 


一 个 版 本 的 结果 数据 包含 缺陷 数据 、 各 种 指标 的 实测 值 ， 以 及 和 风险 相关 的 测试 结果 。 


可 能 导致 发 布 推迟 的 信息 是 最 重要 的 ， 通 常 只 有 非常 严重 的 缺陷 会 导致 发 布 推迟 ， 例 如 导致 商业 目标 无 法 达成 ， 或 者 产品 无 
法 正常 使 用 的 缺陷 。 (如 果 有 这 种 情况 ， 更 好 的 方法 是 在 项 目 过 程 中 的 例 行 进展 报告 中 进行 风险 预警 ， 到 发 布 了 才 暴 露 是 非常 被 
动 的 , 会 被 认为 阻碍 了 项 目的 正常 进度 。) 


需要 控制 发 布 范围 ， 或 者 在 上 线 时 作 特 殊 安排 (比如 值守 、 在 线 验 证 ) 的 信息 也 需要 重点 写 明 ， 例 如， 需要 人 工 操作 或 特殊 
准备 规避 问题 的 缺陷 ， 或 者 某 些 设计 指标 不 达标 但 用 户 暂时 可 接受 的 缺陷 。 


我 们 产品 的 测试 结果 包含 以 下 内 容 : 


1) 遗留 缺陷 数据 。 包 含 遗留 缺陷 的 个 数 、 级 别 ， 每 个 缺陷 的 规避 措施 ， 计 划 修 改 时 间 等 。 维 护 和 服务 代表 比较 关注 这 个 信 
息 ， 有 些 时 候 一 些 缺 陷 的 规避 措施 太 难 做 到 ， 维 护 和 服务 代表 可 能 会 要 求 推迟 发 布 ， 先 修改 缺陷 。 有 时 候 一 个 缺陷 导致 的 后 果 太 
严重 ， 规 避 措 施 可 能 是 推迟 发 布 某 个 特性 ， 市 场 代表 通常 对 这 类 信息 比较 关注 。 ( 注 : 遗留 缺陷 ， 指 到 测试 结束 仍 未 修改 ， 将 在 
发 布 的 产品 中 遗留 下 来 的 缺陷 。 规 避 措 施 ， 指 可 以 在 线 做 的 一 些 操作 ， 避 免 缺 陷 带 来 损失 ， 比 如 手工 触发 一 次 操作 、 客 服 指导 操 
作 等 ， 规 避 措 施 不 能 是 下 个 版 本 修改 、 或 者 需要 很 高 权限 的 操作 ， 如 直接 修改 数据 库 。) 


2) 性 能 指标 。 主 要 包含 各 个 典型 业务 的 性 能 性 指标 ， 指 标 通 常 包 含 容量 、TPS、 在 线 用 户 数 、 知 吐 量 、 业 务 处 理 成 功率 、 
系统 资源 占用 情况 、 平 均 操作 耗 时 、 平 均 响 应 延 时 、 数 据 同 步 延 时 等 。 在 性 能 测试 中 做 的 其 他 测试 ， 如 超 负载 处 理 能 力 、 长 时 间 
稳定 性 等 ， 如 果 没 有 发 现 缺陷 ， 则 一 般 不 包含 在 测试 结果 中 。 通 常 系统 工程 师 和 市 场 代表 比较 关心 这 个 数据 ， 如 果 测 试 的 结果 显 
示 产 品 达 不 到 设计 要 求 ， 可 能 会 推迟 某 些 功能 的 正式 上 线 时 间 ， 并 在 下 一 个 版 本 实现 性 能 的 提升 。 


3) 服务 相关 指标 。 如 安装 升级 耗 时 、 升 级 扩容 影响 业务 的 时 长 和 比例 、 告 警 有 效 性 、 故 障 定位 恢复 有 效 性 和 对 业务 的 影 
响 、 统 计 报表 的 性 能 和 对 业务 的 影响 ， 按 产品 资料 完成 安装 、 升 级 、 故 障 处 理 的 时 长 、 求 助 次 数 、 试 错 次 数 等 。 服 务 代表 会 比较 
关注 这 个 信息 ， 这 些 结果 会 对 上 线 的 计划 和 操作 过 程 产生 影响 。 


4) 可 靠 性 相关 指标 。 如 故障 自动 恢复 率 、 故 障 检测 率 、 备 份 操作 耗 时 和 对 业务 成 功率 的 影响 、 故 障 恢复 的 耗 时 和 恢复 期 间 
业务 的 性 能 、 系 统 过 载 时 业务 的 性 能 等 。 主要 是 系统 工程 师 关 注 这 些 结果 ， 当 某 些 数据 不 理想 时 ， 就 意味 着 产品 在 线 上 一 旦 出 现 
故障 将 对 业务 产生 较 大 的 影响 ， 必 须 有 相应 的 预案 ， 在 接 下 来 的 版 本 中 也 需要 改进 设计 。 


5) 安全 性 。 安 全 性 实际 上 并 没有 定义 出 指标 ， 只 有 安全 漏洞 防护 要 求 的 满足 度 ， 在 安全 漏洞 库 中 定义 了 网 络 、Web、 数 据 
库 、 敏 感 数 据 、 业 务 操作 等 方面 的 安全 漏洞 及 其 防护 要 求 ， 测 试 结果 中 需要 按 漏 洞 级 别 统计 防护 要 求 的 满足 度 。 研 发 经 理 、 市 场 
代表 和 系统 工程 师 比较 天 注 这 个 结果 ， 因 为 现在 安全 性 已 经 是 产品 进入 大 部 分 国家 的 准 入 要 求 ， 一 旦 有 高 危 漏 洞 的 防护 要 求 没有 
达到 ， 很 可 能 客户 会 拒 收 。 因 此 ， 如 果 有 这 一 类 的 严重 缺陷 ， 版 本 通常 要 推迟 发 布 ， 先 改 缺 陷 。 


6) 兼容 性 。 研 发 经 理 、 市 场 代表 、 服 务 代表 会 比较 天 注 这 个 结果 ， 如 果 某 一 方面 有 问题 ， 很 可 能 版 本 在 特定 的 客户 那里 就 
不 能 使 用 。 兼 容 性 包含 以 下 几 个 方面 : 

a) 对 产品 所 需要 遵循 的 协议 规范 的 遵从 度 ， 这 关系 到 产品 能 否 和 客户 网 络 的 其 他 设备 正确 对 接 ; 

b) 对 第 三 方 产品 (例如 数据 库 、 操 作 系 统 、 终 端 类 型 ) 的 兼容 性 ， 这 关系 到 产品 能 否 广 泛 使 用 ; 

Cc) 对 历史 版 本 的 前 向 兼容 性 ， 历 史 版 本 的 全 部 特性 、 接 口 、 指 标 是 否 都 保持 不 变 ， 这 关系 到 老 客 户 是 否 可 以 直接 升级 ; 

d) 平台 产品 对 业务 主流 历史 版 本 的 兼容 性 ， 这 关系 到 平台 产品 是 可 以 单独 发 布 使 用 ， 还 是 必须 捆绑 业务 发 布 。 


7) 体验 相关 指标 。 体 验 的 设计 和 验证 在 我 们 的 产品 中 是 一 个 新 课题 ， 评 估 分 为 主观 和 客观 两 部 分 。 主 观 评估 由 测试 团队 做 
效果 不 好 ， 建 议 考虑 利用 外 部 资源 进行 评估 。 客 观 结果 有 任务 完成 率 〈 给 体验 组 几 个 任务 ， 统 计 任务 完成 的 人 次 和 总 人 次 的 比 
率 ) 、 单 个 任务 跳 转 页 面 数 、 视 音频 MOs 值 ; 完成 任务 的 出 错 次 数 、 求 助 次 数 ; 终端 的 能 耗 、 流 量 、 内 存 消耗 等 。 在 我 们 的 产 
品 中 ， 体 验 测试 通常 是 体验 设计 改进 之 前 的 一 个 专项 活动 ， 并 非 版 本 测试 的 常规 内 容 ， 因 此 主要 是 系统 工程 师 比较 关心 这 个 结 
果 。 对 用 户 体验 要 求 高 的 产品 ， 架 构 师 、 研 发 经 理 、 产 品 经 理 也 都 会 关注 这 个 数据 。 


8) 风险 闭环 结果 。 如 果 在 项 目的 早期 ， 系 统 工程 师 、 市 场 代表 等 角色 提出 产品 可 能 存在 什么 技术 风险 (技术 风险 指 性 能 
能 不 达标 、 某 些 用 户 使 用 该 特性 可 能 出 现 体验 不 一 致 等 。 与 之 相对 的 是 项 目 风险 ， 如 和 人员 到 位 迟 、 设 备 老化 等 ) ， 那 么 在 测试 结 
果 中 需要 逐个 说 明 这 些 风险 的 验证 内 容 和 验证 结果 。 


版 本 的 测试 结果 数据 清单 如 表 4-1 所 示 。 每 个 发 布 版 本 都 会 包含 缺陷 数据 和 性 能 指标 ， 其 他 数据 通常 是 在 有 相应 的 特性 或 
DFX 测 试 的 时 候 才 产生 。 


表 4-1 测试 结果 数据 汇总 


遗留 缺陷 


| 遗留 缺陷 清单 


性 能 


TPS 
在 线 用 户 数 
吞吐 量 

成 功率 

系统 资源 占用 情况 
平均 操作 耗 时 
平均 响应 延 时 
数据 同步 延 时 


可 服务 性 

安装 升级 耗 时 

升级 扩容 影响 业务 的 时 长 和 比例 

告警 有 效 性 

故障 定位 恢复 有 效 性 和 对 业务 的 影响 

统计 的 性 能 和 对 业务 的 影响 

按 资料 安装 的 时 长 、 求 助 次 数 、 试 错 次 数 

按 资 料 升 级 的 时 长 、 求 助 次 数 、 试 错 次 数 

按 资料 故障 处 理 的 时 长 、 求 助 次 数 、 试 错 次 数 


可 靠 性 
故障 自动 恢复 率 

故障 检测 率 

备份 操作 耗 时 和 对 业务 的 影响 (包括 成 功率 和 数据 等 方面 ) 
故障 恢复 的 耗 时 和 恢复 期 间 业 务 的 性 能 

系统 过 载 时 业务 的 性 能 


安全 性 

针对 某 个 安全 漏洞 防护 要 求 的 满足 度 
兼容 性 

协议 规范 的 遵从 度 

对 第 三 方 产 品 的 兼容 性 

对 历史 版 本 的 前 向 兼容 性 

平台 产品 对 业务 主流 历史 版 本 的 兼容 性 
体验 

任务 完成 率 

完成 任务 操作 的 页 面 数 、 相 关 视 音频 MOS 值 

完成 任务 出 错 次 数 、 求 助 次 数 

完成 任务 过 程 中 终端 的 能 耗 、 流 量 、 内 存 消耗 
风险 闭环 结果 


风险 评估 表 
风险 记录 表 


遗留 缺陷 作为 最 重要 的 测试 结果 之 一 ， 其 记录 模板 如 表 4-2 所 示 。 
表 4-2 丫 留 缺陷 记录 模板 


缺陷 跟踪 号 

缺陷 标题 

缺陷 级 别 

缺陷 描述 

缺陷 影响 的 用 户 及 其 场景 
规避 措施 

计划 修改 时 间 


发 布 版 本 的 测试 报告 中 ，DFX 指 标 数据 建议 使 用 图 表 结 合 的 方式 表现 。 以 性 能 指标 为 例 : 容量 、TPS、 在 线 用 户 数 、 香 吐 
、 成 功率 ， 这 些 指标 只 需要 一 个 最 终 数据 ， 以 列表 形式 表现 就 比较 清晰 ， 如 表 4-3 所 示 。 


表 4-3 ”衡量 绝对 数值 的 性 能 指标 


结 论 
TPS 符合 规格 要 求 ， 较 前 一 版 本 优化 20% 
容量 符合 规格 要 求 


指 标 实 测 值 结 论 


在 线 用 户 数 10 000 符合 规格 要 求 
成 功率 符合 规格 要 求 


系统 资源 占用 情况 。 这 个 指标 的 均值 和 波动 都 是 有 意义 的 ， 如 图 4-1 所 示 的 ， 以 时 间 轴 做 折线 来 表现 才 比 较 清晰 。 
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图 4-1 衡量 波动 幅度 和 均值 的 性 能 指标 


平均 操作 耗 时 、 平 均 响应 延 时 、 数 据 同步 延 时 ， 这 些 指标 的 均值 和 分 布 比较 有 意义 ， 以 图 4-2 所 示 的 饼 图 来 表现 比较 合适 。 


] ~3S 
24% 


图 4-2 ”衡量 分 布 情况 和 均值 的 性 能 指标 


缺陷 的 管理 ， 在 我 们 产品 中 使 用 的 是 公司 内 自行 研发 的 缺陷 管理 工作 流 ， 缺 陷 数据 的 处 理 、 管 理 和 存档 都 由 这 个 工作 流 实 
现 。 性 能 测试 的 大 部 分 数据 采集 由 性 能 测试 执行 工具 完成 ， 其 他 数据 通过 手工 方式 采集 ， 数 据 通 过 配置 管理 工具 进行 管理 。 


4.1.3 ”用 金字 塔 模型 编排 测试 报告 


版 本 全 部 测试 完成 后 ， 最 终 的 测试 报告 中 需要 包含 全 部 的 测试 结果 。 最 初 我 们 产品 的 测试 报告 使 用 的 模板 类 似 于 图 4-3 所 
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图 4-3 ”测试 报告 模板 (旧版 ) 


这 个 测试 报告 包含 了 版 本 测试 的 全 部 结论 ， 以 及 重要 的 过 程 数 据 ， 但 是 无 论 是 测试 经 理 还 是 研发 经 理 ， 对 这 个 报告 都 不 满 
意 。 测 试 经 理 认为 自己 花 很 大 精力 总 结 和 分 析 得 到 的 报告 ， 根 本 没有 人 关心 ; 研发 经 理 觉 得 报告 中 罗列 了 大 量 的 数据 和 图 表 ， 却 
很 难 找到 结论 是 什么 ， 这 个 结论 是 怎么 得 到 的 。 


后 来 根据 研发 团队 的 需要 ， 参 考 IEEE 将 测试 报告 改 成 了 新 的 模板 ， 如 图 4-4 所 示 。 
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图 4-4 ”测试 报告 模板 (新 版 ) 


旧 的 测试 报告 模板 ， 是 按时 序 组 织 内 容 的 : 开展 了 哪些 方面 的 工作 ， 用 的 什么 方法 ， 哪 些 履 盖 了 哪些 没有 履 盖 ， 发 现 了 多 少 
缺陷 ， 得 到 了 哪些 指标 ， 最 后 得 出 产品 质量 结论 如 何 。 该 有 的 内 容 都 包含 ， 就 是 重点 不 突出 ， 整 个 报告 的 前 一 半 内 容 太 多 细节 ， 
消磨 了 读者 的 耐心 。 


+ 


新 的 测试 报告 模板 ， 符 合金 字 塔 原理 : 最 重要 的 结论 放 在 最 开始 的 位 置 ， 然 后 是 得 出 结论 所 依据 的 各 种 证 据 。 研 发 团队 的 主 
要 角色 ， 如 QA、 需 求 工程 师 、 系 统 工程 师 都 可 以 直接 从 几 个 固定 的 章节 中 获得 需要 的 信息 ， 确 认 测 试 的 结论 。 


有 时候 一 个 版 本 的 测试 内 容 很 多 、 周 期 较 长 (如 半年 发 布 一 次 的 优化 架构 的 路 标 版 本 ) ， 为 了 避免 不 同 的 研发 角色 在 一 份 超 
长 的 测试 报告 中 大 海 捞 针 ， 就 需要 分 别 出 具 总 体 测试 报告 和 各 DFX 专 项 的 测试 报告 。 


编写 测试 报告 时 ， 首 先 要 注意 的 是 报告 内 容 的 编排 。 一 个 正式 发 布 的 版 本 ， 测 试 报告 一 般 在 20 页 以 上 。 通 常 产品 团队 没有 
任何 一 个 角色 会 逐 字 逐 句 读 完 报 告 的 所 有 内 容 ， 更 不 可 能 去 逐一 分 析 数 据 背 后 的 含义 。 因 此 ， 在 测试 报告 中 ， 不 能 把 所 有 的 数据 


在 设计 测试 报告 的 内 容 编排 时 ， 首 先 需要 知道 报告 的 读者 都 有 谁 ， 每 个 读者 需要 根据 什么 信息 做 决策 ”然后 再 审视 测试 报 
告 ， 是 否 让 每 个 读者 都 能 够 根据 章节 索引 ， 很 快 找到 他 们 需要 的 数据 。 


4.2 ”风险 评估 数据 


4.2.1 ”风险 的 含义 及 风险 评估 数据 的 作用 


这 里 的 风险 指 的 是 技术 风险 。 比 如 : 业务 流程 新 增 了 第 三 方 校 验 环节 ， 可 能 会 导致 性 能 降低 ; 扩展 了 被 多 个 特性 共用 的 数据 
模型 定义 ， 同 步 修改 的 特性 比较 多 ， 可 能 存在 没有 分 析 到 的 修改 点 ; 修改 了 一 个 主 业务 流程 的 处 理 顺 序 ， 对 相关 业务 流程 的 影响 
比较 大 ， 可 能 存在 数据 不 一 致 的 风险 等 。 


除了 这 些 在 内 部 测试 可 以 闭环 的 风险 ， 还 有 测试 没 能 闭环 的 风险 ， 比 如 : 一 直 没 有 拿 到 客户 的 实际 数据 模型 ， 性 能 的 实验 室 
测试 结果 可 能 与 实际 应 用 的 结果 有 偏差 ; 产品 方案 中 的 硬件 防火 墙 客户 决定 利用 原 有 设备 ， 实 验 环境 中 没有 同型 号 的 防火 墙 ， 无 
法 验证 防火 墙 的 配置 建议 能 否 保证 业务 流程 和 性 能 都 不 受 影响 等 。 


【作用 】 


这 部 分 数据 是 测试 结果 的 一 部 分 (参见 4.1.2 节 “测试 结果 数据 的 内 容 ”) ， 作 用 也 是 供 产品 团队 的 各 个 角色 确定 产品 是 
发 布 ， 在 什么 范围 发 布 ， 上 线 时 和 上 线 后 需要 做 什么 安排 。 


到 


4.2.2 RBT 


测试 进行 风险 管理 最 常用 的 方法 是 RBT， 即 基于 风险 的 测试 。 由 于 测试 的 根本 原因 是 产品 存在 质量 风险 ， 而 RBT 理 论 上 又 可 
以 提高 测试 效率 和 质量 ， 因 此 ，RBT 一 度 成 为 我 们 的 产品 测试 团队 比较 流行 的 技术 之 一 。 


RBT 的 实施 过 程 如 下 : 


1) 确定 测试 学 围 。 把 需要 测试 的 特性 和 质量 属性 整理 成 一 个 测试 范围 清单 。 清 单 通常 包含 全 部 新 增 和 修改 的 特性 ， 首 次 使 
用 的 老 特 性 ， 需 要 验证 的 质量 属性 ， 其 他 基于 版 本 特点 、 客 户 特 点 、 产 品 特点 安排 的 专项 测试 。 (基于 版 本 特点 的 专项 测试 ， 例 
如 : 架构 重 构 的 版 本 进行 架构 评估 ， 评 佑 内 容 包括 业务 流程 开发 的 效率 和 学 习 成 本 、 可 靠 性 性 、 兼 容 性 等 。 基 于 客户 特点 的 专项 
测试 ， 例 如 : 有 特殊 的 用 户 类 别 ， 需 要 针对 这 类 用 户 数据 模型 上 的 特点 进行 全 部 基础 功能 验证 。 基 于 产品 特点 的 专项 测试 ， 例 
如 : 产品 组 网 复杂 ， 运 营 方 式 灵 活 ， 客 户 有 大 型 活动 之 前 需要 在 测试 环境 上 进行 方案 演练 ， 产 品 数据 模型 复杂 ， 需 要 使 用 典型 客 
户 的 数据 模型 进行 一 遍 自 动 化 测试 ， 确 保 正常 使 用 没有 错误 。) 


2) 风险 等 级 评估 。 针 对 测试 范围 清单 的 每 一 项 内 容 ， 进 行 基于 经 验 的 、 主 观 的 风险 评分 ， 评 分 包括 两 个 维度 : 失效 概率 、 
失效 影响 ， 分 值 都 是 1~4 分 ， 两 个 分 值 的 乘积 就 是 这 一 项 的 风险 评分 ， 评 分 越 高 风险 越 大 。 失 效 概率 是 发 生 错 误 的 可 能 性 ， 通 常 
评分 的 依据 包括 : 同类 特性 的 历史 表现 ， 设 计 中 需要 考虑 的 要 素 多 熹 ， 需 求 变更 的 频繁 程度 ， 是 否 采 用 新 方法 等 (影响 失效 概率 
的 因素 参见 本 节 的 注释 ) 。 失 效 影响 是 错误 发 生 造 成 的 影响 ， 通 常 评 分 的 依据 包括 : 错误 失效 对 主要 业务 流程 的 影响 范围 ， 给 研 
发 团队 以 及 客户 带 来 的 直接 经 济 损失 ， 修 复 成 本 ,信誉 影响 等 。 


3) 基于 风险 的 测试 。 根 据 每 个 测试 内 容 的 风险 评分 ， 确 定 测试 的 时 间 和 强度 (测试 强度 通常 是 用 干 行 代码 用 例 数 来 稀 
量 ) 。 原 则 上 高 风险 的 内 容 要 尽 可 能 里 测试 ， 低 风险 的 内 容 在 计划 安排 上 灵活 性 可 以 大 一 些 。 高 风险 的 内 容 要 多 测试 ， 比 如 考虑 
多 种 测试 设计 方法 同时 使 用 ， 安 排 探索 式 测试 等 。 在 测试 的 过 程 中 ， 需 要 持续 地 分 析 缺 陷 数 据 和 指标 数据 ， 以 确定 风险 是 降低 还 
是 升 高 了 ， 如 果 发 现 风险 升 高 ， 甚 至 已 经 成 为 会 阻碍 产品 发 布 的 问题 ， 则 必须 进行 例外 报告 ， 调 整 开 发 和 测试 策略 。 


4) 风险 闭环 评估 。 测 试 完成 后 ， 根 据 测 试 的 情况 对 测试 范围 清单 再 进行 一 次 风险 打分 ， 评 佑 是 否 所 有 内 容 的 风险 都 降 到 了 
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图 4-5 RBT 实 施 过 程 


注 : 影响 失效 概率 的 因素 


综合 

同类 特性 的 历史 表现 ; 

无 同类 老 特性 的 全 新 特性 。 

需求 

需求 变更 频繁 ; 

特性 需求 调研 、 洪 清和 开发 过 程 中 ， 用 户 参 与 始终 不 足 。 
设计 和 实现 

特性 的 分 析 、 设 计 、 代 码 评审 活动 未 开展 或 开展 质量 差 ; 
功能 复杂 ， 代码 量 大 ， 设 计 中 需要 考虑 的 要 素 多 ; 

特性 的 外 部 接口 数量 比 平均 水 平 多 ; 

特性 开发 第 一 次 使 用 了 特定 工具 或 者 技术 。 

流程 和 人 员 

首次 采用 新 的 研发 流程 ; 

特性 的 设计 、 开 发 时 间 过 于 紧迫 ; 

开发 过 程 中 开发 工程 师 变更 ; 

新 员工 开发 的 特性 ; 

研发 团队 成 员 分 散在 多 地 办 公 。 


测试 报告 中 关于 风险 有 两 部 分 内 容 : 一 个 是 产品 的 风险 评估 表 ， 一 个 是 风险 跟踪 表 。 风 险 评 估 表 根据 开发 和 测试 的 过 程 和 最 


终结 果 ， 使 用 RBT 方 法 给 出 产品 各 个 特性 的 风险 评估 得 分 ， 评 估 表 模板 如 表 4-4 所 示 。 风 险 跟踪 表 根据 测试 结果 ， 给 出 产品 主要 
应 用 风险 是 否 已 经 解决 或 规避 的 结论 ， 跟 踪 表 模板 如 表 4-5 所 示 。 


表 4-4 RBT 风 险 评 估 表 


风险 概率 | 风险 影响 测试 策略 
功能 测试 、 功 能 交互。 
定价 要 素 测试 等 价 类 、 边 
界 值 、 参 数组 合 (pairwise ) 。 
计 费 场景 探索 式 测试 
D4 2D] 慰 人工、 功能 交互 


用 户 信息 查询 | 2 | 1 | 2 | 功能 测试 查询 权限 控制 
到 EN 


在 实际 项 目 中 ， 常 用 头脑 风暴 法 进行 风险 等 级 评估 。 而 风险 评估 表 就 是 头脑 风暴 的 会 议 结论 。 结 论 中 不 仅 记 录 评 分 结果 ， 还 
需要 将 会 议 中 讨论 的 风险 点 ， 以 及 风险 点 对 应 的 测试 策略 记录 下 来 ， 并 在 后 续 研 发 活动 中 进行 跟踪 。 


风险 点 
影响 定价 的 要 素 复 杂 ， 包 括 
时 间 、 使 用 量 、 用 户 级 别 、 用 
户 活跃 度 、 业 务 类 别 等 ; 
和 套餐 、 例 外 人 处理 等 业务 有 


测试 内 容 


计 费 


表 4-5 RBT 风 险 跟踪 表 


风险 是 否 可 以 继续 跟 | 对 于 继续 跟踪 的 风险 ， 状 态 描述 应 该 包 

关闭 需要 和 提出 踪 、 关 闭 、| 含 已 经 验证 了 什么 内 容 ， 结 论 是 什么 ， 接 

人 确认 转 问 题 下 来 要 采取 什么 动作 。 对 于 关闭 的 风险 ， 

状态 描述 应 该 包含 验证 的 内 容 和 主要 结果 

数据 。 对 于 转 问 题 ( 即 风险 转变 成 问题 )， 
状态 描述 可 以 只 给 出 问题 跟踪 标识 


风险 跟踪 表 中 跟踪 的 除了 风险 评估 环节 发 现 的 风险 点 ， 还 包含 研发 过 程 中 陆续 暴露 出 来 的 风险 。 


RBT 的 初衷 是 把 有 限 的 测试 资源 用 到 最 重要 的 地 方 ， 同 时 严重 的 缺陷 能 够 较 早 发 现 ， 因 此 风险 评 佑 结果 首先 会 用 于 测试 计划 
的 人 员 和 时 间 安 排 。 


在 我 们 的 产品 研发 项 目 中 ， 更 多 的 是 把 这 个 RBT 方 法 与 测试 策略 结合 ， 作 为 一 个 沟通 工具 使 用 。 在 对 每 一 项 进行 风险 评分 
时 ， 每 个 成 员 陈述 完 自己 的 打分 依据 后 ， 测 试 再 根据 讨论 内 容 澄清 一 遍 测 试 策略 ， 比 如 : 性 能 是 不 是 不 用 测 ? 是 不 是 进行 常规 功 
能 测试 就 可 以 ”用 这 个 方式 挖掘 系统 工程 师 认 为 有 风险 的 地 方 。 在 这 个 讨论 的 过 程 中 ， 风 险 点 (很 多 时 候 是 设计 和 测试 应 该 考虑 
的 要 素 和 流程 分 支 ) 能 够 得 到 比较 充分 的 暴露 。 风 险 等 级 评估 完成 后 ， 如 果 有 某 些 特性 或 质量 属性 的 风险 偏 高 ， 会 在 开发 和 测试 
计划 中 尽量 安排 由 经 验 丰富 的 工程 师 负 责 ， 加 强 评 审 等 质量 保障 活动 ， 特 性 开发 尽量 提前 。 对 于 识别 出 来 的 具体 风险 点 ， 需 要 单 
独 跟 踪 ， 在 特性 中 针对 风险 点 设计 实现 方案 和 测试 用 例 。 


在 项 目 中 ， 通 常 是 在 测试 策略 中 进行 风险 分 析 和 评估 ， 项 目 过 程 除了 对 风险 评分 进行 刷新 ， 更 关注 风险 点 的 闭环 。 
测试 团队 对 待 风险 有 两 个 常见 的 问题 ， 一 是 只 关注 设计 不 关注 风险 ， 二 是 RBT 由 测试 独立 实施 。 下 面 分 别 说 明 两 个 问题 的 影 
响 和 推荐 做 法 。 


4.2.3 ”将 风险 作为 测试 的 重要 输入 


曾经 有 一 个 研发 项 目 ， 主 要 的 开发 内 容 是 实现 不 同业 务 占 用 网 络 带宽 的 控制 ， 针 对 每 个 业务 的 计 费 是 在 成 熟 的 计 费 模块 上 通 
过 配置 实现 的 。 测 试 将 主要 精力 放 在 新 开发 内 容 上 ， 测 试 也 比较 充分 。 但 是 ， 产 品 上 线 以 后 发 现 费 用 计算 有 错 ， 这 种 缺陷 对 客户 
而 言 是 很 致命 的 问题 ， 直 接 导 致 产品 上 线 暂 停 。 


这 个 一 个 非常 典型 的 、 忽 视 风险 评估 和 识别 的 案例 。 测 试 工程 师 常常 会 倾向 于 把 精力 放 在 代码 多 的 地 方 ， 因 为 代码 多 ， 缺 陷 
一 定 也 多 。 但 是 却 常常 忽略 了 风险 的 另 一 面 : 风险 影响 。 测 试 的 一 条 重要 准则 是 “没有 风险 就 不 用 测试 ”， 这 句 话 固然 意味 着 没 
有 缺陷 就 不 要 测试 ， 但 更 多 的 还 是 : 一 旦 有 缺陷 对 客户 使 用 也 没有 大 的 影响 ， 这 样 的 测试 才 显得 不 必要 。 


最 初 接触 到 RBT， 是 源 于 过 程 改 进 专家 对 我 们 的 产品 进行 的 TPl 评 估 。 专 家 发 现 我 们 的 测试 过 程 有 严格 的 定义 ， 测 试 活动 需 
要 的 模板 、 方 法 都 已 经 具备 。 但 是 在 产品 研发 的 项 目 中 ， 似 乎 没有 重点 ， 只 是 在 盲目 套用 模板 、 方 法 ， 失 去 了 测试 的 目标 。 于 
是 ， 专 家 开 出 的 过 程 改进 “药方 ”的 第 一 味 药 就 是 “RBT” 。 


但 是 ,我们 显然 太 喜 欢 遵 循 现 有 的 过 程 、 套 用 现 有 的 模板 了 。 在 研究 了 一 番 RBT 之 后 ， 我 们 认为 只 要 把 风险 评估 表 (如 表 4- 
6 所 示 ) 加 到 “测试 策略 模板 ”中 ， 就 可 以 在 现 有 的 流程 中 进行 风险 的 评估 和 评审 。 


表 4-6 RBT 风 险 评 估 表 (第 一 版 ) 


测试 内 容 E 风险 影响 风 险 值 
计 费 
用 户 信 息 查 询 


评审 通过 后 ， 只 要 把 风险 高 的 多 测试 一 下 ， 这 就 是 RBT 了 。 一 番 “ 改 进 ” 下 来 ， 发 现 这 样 使 用 RBT， 对 于 改善 产品 质量 、 
升 测试 效率 、 改 变 测 试 过 程 都 没有 起 到 明显 作用 。 


粘 
渍 


分 析 原 因 发 现 ， 在 实际 操作 中 ， 测 试 工程 师 并 不 知道 究竟 应 该 多 测试 哪些 点 ， 用 什么 方法 多 设计 一 些 用 例 ， 测 试 了 这 些 内 
容 ， 风 险 是 不 是 就 排除 了 ? 


通过 RBT 的 初次 实践 ， 测 试 经 理 们 认识 到 : 对 于 风险 除了 给 出 最 终 的 评分 ， 每 个 评分 人 给 出 的 评分 依据 实际 上 是 更 重要 的 信 
息 ， 这 些 信息 能 够 告诉 测试 工程 师 : 需要 用 什么 方法 增加 测试 内 容 ， 测 试 哪些 内 容 才能 降低 或 者 规避 风险 。 从 这 个 思路 继续 实 
践 ， 才 让 测试 团队 对 RBT 有 了 初步 的 认可 。 


现在 ， 测 试 经 理 们 已 经 认识 到 : 风险 评估 并 非 是 编写 测试 策略 时 由 测试 自己 完成 的 、 顺 带 的 动作 ， 而 应 该 是 研发 各 个 角色 共 
同 实施 的 专项 工作 之 一 ， 特 性 的 风险 评级 和 具体 风险 点 是 测试 的 最 重要 的 输入 信息 之 一 。 


风险 评级 和 风险 点 一 方面 是 测试 策略 的 输入 ， 确 定 测试 时 需要 覆盖 哪些 产品 特性 和 DFX。 另 一 方面 ， 风 险 和 需求 、 设 计 一 起 
作为 测试 设计 的 输入 ， 明 确 特性 和 DFX 的 测试 内 容 和 重点 。 
4.2.4 “依托 测试 策略 活动 进行 风险 评估 

风险 的 生命 周期 包含 识别 、 跟 踪 、 验 证 、 闭 环 等 环节 。 风 险 的 信息 对 测试 的 范围 、 内 容 、 顺 序 ， 甚 至 具体 用 例 的 设计 都 是 有 
影响 的 。 风 险 的 验证 结果 也 应 该 和 遗留 缺陷 一 样 ， 是 最 重要 的 结果 数据 。 


想 要 风险 信息 真正 发 挥 这 些 价值 ， 首 先 要 注意 的 是 ， 基 于 风险 管理 整个 过 程 的 每 个 环节 都 不 能 是 测试 单方 面 的 行动 ， 至 少 在 
风险 识别 的 环节 ， 需 要 把 产品 团队 的 核心 角色 卷 入 进来 ， 这 样 才能 从 客户 使 用 、 服 务 、 设 计 等 角度 比较 完整 地 识别 技术 风险 。 


其 次 ， 风 险 的 识别 可 以 融入 到 设计 阶段 的 各 个 研发 活动 中 。 很 多 时 候 ， 测 试 工程 师 专门 找到 系统 工程 师 、 市 场 代表 说 “hi， 
哥们 ， 请 告诉 我 这 个 项 目 有 什么 风险 吧 ! ”， 他 只 会 罗列 一 些 项 目 风险 ， 最 好 的 情况 也 只 能 给 出 近 几 天 思考 过 的 有 限 几 个 技术 风 
险 。 但 是 在 需求 、 设 计 方 案 、 测 试 策略 、 测 试 方案 的 评审 中 ， 每 个 人 都 会 根据 自己 的 经 验 以 及 对 项 目 信 息 、 客 户 信息 、 产 品 信息 
的 掌握 ， 提 出 一 些 问 题 ， 有 些 问题 经 过 讨论 发 现 不 用 关注 ， 有 些 则 需要 在 方案 和 设计 中 考虑 解决 。 需 要 解决 的 这 一 类 问题 ， 最 好 
都 作为 风险 记录 下 来 进行 进一步 淤 清 。 以 我 们 项 目的 经 验 看 ， 在 所 有 这 些 评审 中 ， 测 试 策略 的 评审 是 暴露 风险 点 最 有 效 的 工具 。 


最 后 ， 风 险 需要 进行 持续 的 更 新 和 跟踪 。 风 险 并 不 是 一 旦 识别 出 来 就 不 变 了 ， 也 不 是 每 个 风险 点 最 后 都 要 进行 测试 。 在 设 
计 、 实 现 、 测 试 等 研发 活动 中 ， 都 可 能 由 于 发 现 了 新 问题 ， 进 而 给 产品 带 来 新 的 风险 ， 这 些 问题 也 需要 和 最 初 识别 的 技术 风险 同 
样 对 待 。 在 研发 的 各 个 阶段 点 上 ， 都 需要 看 看 风险 是 否 还 人 存在， 是 否 已 经 有 效 规避 了 ， 是 否 带 来 了 新 的 风险 ， 如 果 风险 有 变化 ， 
测试 策略 也 需要 做 出 相应 的 调整 。 


可 以 看 出 ， 风 险 管理 在 测试 的 落脚 点 是 测试 策略 ， 在 测试 策略 的 分 析 、 评 审 、 执 行 、 调 整 等 各 个 活动 ， 都 有 风险 信息 贯穿 其 
中 。 


测试 策略 是 测试 活动 的 总 体 纲领 。 测 试 策略 分 析 的 上 下 文 如 图 4-6 所 示 ， 主 要 是 根据 项 目的 范围 、 目 标 和 风险 ， 确 定 测 试 的 
覆盖 内 容 、 优 先 级 ， 提 出 环境 、 工 具 、 输 入 信息 的 需求 ， 并 约定 项 目 各 个 测试 阶段 的 出 入 口 准则 等 。 
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图 4-6 测试 策略 分 析 的 输入 与 输出 


测试 策略 的 模板 如 图 4-7 所 示 。 


风险 评 佑 
测试 策略 综述 


ei 6 
入 口 准则 

出 口 准则 

系统 测试 策略 

验收 测试 策略 

其 它 特殊 测试 的 策略 


图 4-7 测试 策略 模板 


测试 策略 文档 包括 以 下 内 容 。 
1) 产品 研发 状况 分 析 。 分 析 内 容 包括 : 


a) 项 目 情况 。 项 目的 概要 情况 ， 这 是 制订 策略 的 主要 依据 。 包 含 开 发 内 容 ， 即 有 哪些 特性 、 哪 些 DFX 提 升 目标 。 也 包含 项 
目 目标 ， 即 有 哪些 特性 是 支撑 客户 商业 目标 的 ， 哪 些 是 追赶 或 超越 友 商 的 。 


b) 风险 。 主 要 的 技术 风险 ， 主 要 内 容 包 含 RBT 风 险 评估 表 和 风险 记录 表 。 
2) 测试 策略 综述 。 测 试 策略 的 总 体 安排 包含 了 测 斌 覆盖、 自动化 、 优 先 级 等 方面 的 内 容 。 


a) 测试 项 目 和 策略 。 项 目 研发 、 交 付 过 程 中 要 开展 的 所 有 测试 活动 ， 各 活动 开展 的 时 间 (在 研发 的 哪个 阶段 ) ， 各 活动 有 
哪些 测试 内 容 (通常 由 全 部 特性 的 功能 测试 和 各 种 专项 测试 组 成 ) ， 每 个 测试 内 容 采 用 什么 方法 、 达 到 什么 程度 的 覆盖 ， 各 活动 


的 重点 测试 内 容 是 什么 、 有 时 间或 资源 冲突 时 怎么 处 理 。 这 是 测试 策略 最 重要 的 结论 ， 测 试 可 以 通过 湾 清 这 部 分 的 内 容 来 挖 扬 项 
目 存 在 的 风险 。 


b) 继承 部 分 的 测试 策略 。 由 老 产 品 继承 而 来 的 特性 的 测试 策略 。 
Cc) 自动 化 测试 策略 。 哪 些 内 容 实现 自动 化 测试 ， 在 什么 阶段 实现 自动 化 测试 。 


3) xx 测试 策略 。 分 别 说 明 集成 、 系 统 、 验 收 测试 的 测试 策略 ， 内 容 包括 : 


a) 测试 重点 。 本 阶段 测试 的 主要 目标 ,测试 内 容 清单 。 

b) 环境 和 工具 。 需 要 哪些 环境 和 工具 ， 各 做 什么 用 途 ， 怎 么 获取 这 些 环境 和 工具 。 

Cc) 入 口 准则 、 出 口 准则 。 过 程控 制 准 则 ， 研 发 过 程 各 个 阶段 的 进入 和 结束 需要 满足 什么 条 件 。 
4) 其 他 信息 和 数据 。 对 数据 、 研 发 和 客户 信息 有 哪些 特殊 需求 ， 如 何 获取 。 


到 目前 为 止 ， 我 们 的 RBT 实 践 仍然 没有 到 达 终 点 。RBT 昌 然 从 名 称 上 看 是 一 项 测试 技术 ， 但 事实 上 是 一 种 研发 模式 。 风 险 识 
别 和 需求 识别 是 同样 重要 的 事情 ， 整 个 研发 过 程 都 应 该 围绕 需求 实现 和 风险 去 除 来 展开 。 特 性 风险 的 高 低 ， 不 仅 影响 测试 的 计 
划 ， 也 同样 影响 开发 的 计划 。 


如 果 说 架构 设计 决定 了 产品 能 达到 的 质量 等 级 ， 那 么 测试 策略 就 决定 了 产品 测试 所 能 达到 的 测试 覆盖 水 平 。 从 客户 问题 的 分 
析 结 果 看 ， 大 部 分 功能 性 的 缺陷 并 不 需要 非常 特殊 的 条 件 组 合 ， 仅 仅 利用 常规 的 数据 进行 功能 验证 就 能 发 现 ， 之 所 以 没 能 在 测试 
环节 拦截 ， 就 是 因为 在 分 析 测 试 策略 时 没有 包含 相关 的 测试 内 容 。 


4.3 ”测试 过 程 数据 
4.3.1 ”测试 过 程 数据 的 范围 和 作用 


测试 过 程 中 记录 的 数据 有 两 类 : 测试 项 目 过 程 数据 和 用 例 执 行 过 程 数 据 。 


测试 项 目 过 程 数据 包含 : 计划 执行 、 缺 陷 、 工 作 量 、 履 盖 等 相关 的 数据 。 这 些 数 据 有 些 是 原始 数据 ， 如 缺陷 数 、 测 试 执行 工 
作 量 、 代 码 履 盖 率 等 。 有 些 是 经 过 统计 、 计 算 后 的 数据 ， 如 缺陷 密度 、 缺 陷 趋 势 、 计 划 偏 差 率 、 工 作 量 密度 等 。 


用 例 执行 过 程 数 据 如 : 操作 界面 截图 、 操 作 日 志 ， 性 能 测试 时 记录 的 CPU、 内 存 占用 率 等 。 


原始 的 测试 过 程 数 据 通 常 不 会 出 现在 测试 报告 中 ， 写 入 测试 报告 的 是 对 测试 过 程 数 据 的 分 析 结 论 及 其 图 表 。 例 如 ， 某 特性 测 
试 完成 后 ， 观 察 到 全 部 的 业务 场景 、 功 能 的 主干 和 分 支流 程 、 数 据 的 正常 和 异常 情况 、 相 关 性 能 和 其 他 DFX 的 测试 用 例 都 执行 通 
过 ,没有 遗留 缺陷 ， 从 趋势 看 缺陷 收敛 情况 理想 。 那 么 就 附 上 缺陷 收敛 趋势 图 ， 并 给 出 结论 : 特性 质量 符合 要 求 。 


写 入 测试 报告 的 过 程 数据 一 般 还 有 : 缺陷 数 和 缺陷 密度 ; 工作 量 和 工作 量 密度 ; 覆盖 率 ; 系统 在 不 同 压力 下 的 资源 消耗 、 响 
应 延 时 等 。 


【作用 】 
测试 过 程 数 据 有 几 方 面 的 作用 : 


1) 测试 结论 的 支撑 性 数据 。 主 要 是 质量 属性 测试 时 的 用 例 执行 过 程 数 据 。 性 能 、 可 靠 性 、 可 服务 性 、 体 验 的 测试 结果 都 需 
要 过 程 数据 的 背书 ， 只 有 结果 符合 设计 要 求 ， 过 程 数据 没有 异常 ， 才 能 算是 测试 通过 。 有 经 验 的 工程 师 可 以 根据 过 程 数据 分 析 发 
现 潜在 的 风险 。 


2) 发 现 改进 点 。 通 过 分 析 与 缺陷 、 进 度 、 效 率 、 履 盖 相 关 的 测试 项 目 过 程 数 据 ， 发 现 当前 项 目测 试 的 薄弱 点 ， 或 者 下 一 个 
项 目的 改进 点 。 


3) 建立 基准 。 测 试 项 目 过 程 数据 和 用 例 执行 过 程 数据 ， 可 以 分 别 形成 与 测试 能 力 、 产 品质 量 相关 指标 的 基准 数据 ， 基 准 数 


据 经 过 积累 可 以 用 于 估计 新 项 目的 工作 量 或 进度 ， 或 评估 项 目 质量 。 


4.3.2 ”测试 项 目 过 程 数据 


采集 测试 项 目 过 程 数 据 的 目的 ， 是 为 了 发 现 项 目 进 程 中 的 风险 ， 适 时 调整 策略 和 计划 ， 此 外 分 析 这 类 数据 还 能 帮助 改进 项 目 
的 管理 。 测 试 项 目的 过 程 数 据 一 般 有 : 


. 计划 执行 。 如 研发 的 各 环节 (设计 、 开 发 、 测 试 等 ) 的 周期 比例 、 延 期 的 比例 ; 按 特性 的 工作 量 偏差 (实际 工作 量 和 估计 
工作 量 的 偏差 ) 等 。 


* 工作 量 和 效率 。 如 研发 各 环节 工作 量 比 例 、 工 作 量 密度 ( 千 行 新 增 代码 的 各 环节 工作 量 ) 、 缺 陷 发 现 效率 〈 单 位 工作 量 发 
现 缺 陷 数 ) 、 用 例 密度 ( 千 行 新 增 代码 测试 用 例 数 ) 等 。 


. 缺陷 。 如 缺陷 按时 间 轴 的 增长 趋势 、 缺 陷 密 度 ( 千 行 新 增 代 码 缺 陷 数 ) ， 按 特性 的 缺陷 密度 ， 按 测试 类 型 的 缺陷 密度 等 。 


履 盖 。 如 逻辑 代码 行 履 盖 率 、 分 支 履 盖 率 、 逻辑 履 盖 率 、 需求 覆盖 率 等 。 


省 


对 这 些 过 程 数 据 常 规 的 分 析 有 基准 分 析 、 分 布 分 析 、 组 合 分 析 、 趋 势 分 析 和 覆盖 率 分 析 等 ， 以 下 逐一 介绍 。 


【基准 分 析 】 以 上 这 些 数据 经 过 若干 项 目的 积累 后 ， 都 会 形成 一 个 区 间 ， 绝 大 部 分 项 目的 数据 都 是 落 在 这 个 区 间 内 ， 这 个 区 
间 就 是 测试 项 目 过 程 数 据 的 基准 ， 这 个 基准 表现 的 是 这 个 测试 团队 的 当前 能 力 ， 因 此 会 在 项 目 间 维 持 基 本 稳定 。 基 准 数 据 一 方面 
可 以 作为 项 目 估计 时 的 参考 信息 ; 另 一 方面 如 果 项 目的 过 程 数 据 和 基准 数据 比较 吻合 ， 也 表示 产品 在 客户 使 用 时 的 质量 表现 会 和 
以 往 的 项 目 差不多 ， 不 会 有 太 多 意料 之 外 的 风险 。 


【分 布 分 析 】 将 工作 量 、 效 率 、 缺 陷 等 按 特定 的 维度 分 类 汇总 绘制 柏拉图 ， 据 此 分 析 影 响 质 量 和 效率 的 主要 因素 。 例 如 ， 按 
特性 或 研发 活动 统计 工作 量 ， 找 到 最 耗 时 的 工作 ; 按 特性 、 测 斌 类型、 根源 对 象 等 正 交 缺陷 分 类 法 (Orthogonal Defect 
Classification，ODC) 分 类 统计 缺陷 ， 找 到 最 影响 质量 的 因素 。 分 布 分 析 是 进行 过 程 改进 最 主要 的 分 析 方 法 ( 见 示 例 : 缺陷 的 
柏拉图 分 析 ) 。 


【示例 】 缺 陷 的 柏拉图 分 析 。 项 目 中 常常 根据 缺陷 引入 原因 和 能 够 发 现 缺陷 的 测试 手段 ， 来 进行 缺陷 的 柏拉图 分 析 ， 如 图 4- 
8、 图 4-9 所 示 。 


缺陷 引入 原因 包括 : 

- 初始化， 未 正确 初始 化 导致 的 缺陷 ; 

.配置 管理 ， 代 码 未 签 入 〈check in) 或 者 签 入 错误 导致 的 缺陷 ; 

. 算法 ， 算 法 设计 或 实现 的 缺陷 ; 

:功能 实现 ， 功 能 未 正常 实现 ， 或 者 与 另外 的 模块 之 间 的 配合 错误 导致 功能 缺陷 ; 


.时 间 相 关 ， 并 发 处 理 、 延 时 等 与 时 间 相 关 的 缺陷 ; 


| 
| 
功能 实现 界面 相关 初始 化 时间 相关 关联 关系 ”算法 ”配置 管理 
me 扎 陷 数 一 一 缺陷 总 数 


图 4-8 ” 按 缺 陷 引 入 原因 的 柏拉图 分 析 


流程 输入 交互 
en 缺陷 数 一 一 缺陷 总 数 


图 4-9 ” 按 功 能 测试 手段 的 柏拉图 分 析 
界面 相关 ， 接 口 、 界 面 的 缺陷 ; 
: 关联 关系 ， 由 于 调用 、 继 承 的 代码 有 错误 而 引入 的 缺陷 。 
功能 测试 手段 包括 : 
: 基本 功能 ， 任 何 用 户 都 会 用 到 的 基本 的 功能 ; 


“ 输入 ， 用 不 同 的 输入 测试 同一 功能 ; 


* 流程 ， 用 不 同 的 操作 顺序 测试 同一 功能 ， 

“ 交互 ， 功 能 之 间 的 交互 。 

在 这 个 示例 中 ， 通 过 “ 按 缺 陷 引 入 原因 的 柏拉图 ”可 以 看 出 : 功能 实现 和 界面 缺陷 占 了 绝 大 多 数 ， 这 说 明 特 性 的 设计 方案 在 
实现 功能 需求 上 缺陷 比较 多 ， 用 户 通过 界面 实现 业务 操作 会 遇 到 很 多 问题 。 通 过 “ 按 功能 测试 手段 的 柏拉图 ”可 以 看 出 ， 在 设计 


方案 中 ， 对 分 支 、 异 常 、 回 滚 、 反 复 操作 等 流程 上 的 特殊 情况 考虑 不 足 。 从 这 两 张 柏 拉 图 的 分 析 可 以 看 出 ， 对 于 这 个 特性 ， 需 要 
对 业务 流程 的 设计 进行 重点 改进 。 


【组 合 分 析 】 将 两 个 或 以 上 的 数据 组 合 起 来 进行 分 析 ， 找 到 数据 组 合 异常 的 部 分 进行 风险 分 析 和 排查 。 组 合 分 析 常 用 四 象限 
分 析 法 ， 最 典型 的 是 分 析 工 作 量 密度 一 一 缺陷 密度 ， 用 于 发 现 可 能 测试 不 足 的 特性 ( 见 示例 : 工作 量 密度 一 一 缺陷 密度 的 四 象 
限 分 析 ) 。 


【示例 】 工 作 量 密度 一 一 缺陷 密度 的 四 象限 分 析 ， 如 图 4-10 所 示 。 


工作 量 小 工作 量 大 


图 4-10 工作 量 密度 一 缺陷 密 


部 


的 四 象限 分 析 
在 这 个 示例 中 : 


A、E、G 特 性 测试 投入 的 工作 量 大 ， 缺 陷 也 发 现 得 多 。 这 是 比较 常规 的 情况 ， 通 常 测试 需要 做 的 工作 完成 了 ， 缺 陷 修 改 完成 
了 ， 这 些 特性 就 可 以 结束 测试 了 。 
B 特 性 测试 投入 了 较 少 的 工作 量 ， 就 发 现 很 多 缺陷 。 这 是 质量 不 佳 的 特性 ， 需 要 尽早 终止 测试 ， 让 设计 和 开发 先进 行 改 进 。 


C、F 特 性 测试 投入 的 工作 量 小 ， 缺 陷 发 现 得 也 少 。 这 些 特 性 如 果 质 量 要 求 很 低 ， 比 如 不 重要 的 特性 ， 或 者 本 次 开发 只 用 来 
演示 的 ,或 者 这 些 特性 就 只 会 使 用 一 次 。 那 么 测试 需要 做 的 工作 完成 了 ， 缺 陷 修 改 完 成 了 ， 这 些 特性 就 可 以 结束 测试 了 。 如 果 是 
有 正常 质量 要 求 的 特性 ， 那 么 就 需要 审视 ， 是 否 有 功能 没有 测试 到 ， 或 者 测试 设计 是 否 遗 漏 了 设计 要 素 导 致 大 量 分 支 没有 覆盖 。 


D 特 性 测试 投入 的 工作 量 大 ， 但 发 现 缺陷 很 少 。 这 种 情况 最 好 先 参考 覆盖 数据 检查 一 一 已 经 完成 的 测试 是 否 过 于 偏重 某 些 
点 ， 而 遗漏 了 另 一 些 ， 如 果 有 这 种 情况 ， 需 要 修改 测试 设计 。 如 果 从 履 盖 数据 没有 发 现 异常 ， 可 以 和 设计 、 开 发 的 工程 师 讨 论 一 
下 ， 说 明 测 试 设计 主要 考虑 了 哪些 客户 的 特征 ， 重 点 覆盖 了 哪些 ， 看 看 他 们 还 要 什么 建议 。 如 果 还 没有 发 现 测试 的 遗漏 ， 那 么 这 
个 特性 的 质量 确实 很 好 。 


【趋势 分 析 】 将 缺陷 按时 间 轴 绘制 成 增长 曲线 ， 如 果 在 测试 的 最 后 一 段 时 间 新 发 现 缺陷 明显 收敛 ， 则 表示 测试 能 够 发 现 的 缺 
陷 已 经 基本 上 都 发 现 了 ， 测 试 是 正常 结束 的 。 如 果 没 有 明显 收敛， 则 表示 测试 还 有 能 力 持续 发 现 缺陷 ， 但 是 计划 的 时 间 点 已 经 到 
了 ， 测 试 必须 结束 ( 见 示例 : 缺陷 增长 趋势 (Gompertz) ) 。 


【示例 】 缺 陷 增长 趋势 (Gompertz) ， 如 图 4-11 所 示 。 


K=439.59 


图 4-11 缺陷 增长 趋势 


在 这 个 示例 中 ， 在 测试 活动 的 第 5~25 天 期 间 ， 测 试 每 天 能 发 现 大 约 20 个 缺陷 ， 之 后 每 天 发 现 缺陷 的 数量 减少 ， 缺 陷 总 数 趋 
于 收敛 ， 到 最 后 一 周 ， 测 试 几乎 无 法 发 现 新 的 缺陷 。 根 据 模型 预测 ， 该 项 目的 极限 缺陷 数 (存在 的 总 缺陷 数 ) 是 439.59， 目 前 
已 经 发 现 421 个 缺陷 ， 缺 陷 检 出 率 (已 检 出 缺陷 数 /基线 缺陷 数 ) 为 95.77%， 大 于 95% 的 缺陷 检 出 率 目标 (项目 测试 的 质量 目标 
之 一 ) ， 测 试 可 以 结束 。 


缺陷 的 增长 趋势 分 析 ， 在 较 大 型 的 、 采 用 瀑布 、V、W 流 程 模型 的 研发 项 目 中 比较 常用 。 这 种 项 目 常常 持续 3 个 月 以 上 ， 分 
析 、 设 计 、 实 现 、 测 试 等 活动 在 时 间 轴 上 分 成 相互 不 重 去 的 几 个 阶段 ， 每 个 阶段 的 工作 对 象 都 是 项 目的 全 部 特性 。 经 过 长 期 的 数 
据 分 析 发 现 ， 这 些 项 目的 缺陷 增长 能 够 拟 合 为 Gompertz、Logistic、Rayleigh 等 模型 ， 因 此 ， 趋 势 分 析 能 够 用 于 预测 遗留 到 下 
一 阶段 的 缺陷 数 。 


在 敏捷 模式 下 ， 项 目 周期 被 分 割 成 为 以 周 为 单位 的 若干 个 和 迭代， 每 个 迭代 的 工作 对 象 都 是 不 同 的 特性 ， 这 不 符合 以 上 模型 的 
适用 约束 ， 实 际 项 目的 缺陷 增长 也 确实 无 法 拟 合 为 以 上 模型 。 目 前 ， 适 合 敏 捷 项 目的 遗留 缺陷 预测 模型 还 没有 被 找到 ， 因 此 ， 和 返 
代 开 发 的 项 目 中 不 再 进行 缺陷 的 增长 趋势 分 析 。 

【 履 盖 率 分 析 】 各 种 覆盖 率 衡量 的 是 测试 的 强度 ， 对 于 没有 履 盖 或 者 测试 强度 低 于 一 般 水 平 的 需求 ， 需 要 找 出 没有 覆 盖 到 的 
代码 。 如 果 是 测试 设计 遗漏 ， 则 需要 补充 用 例 ; 如 果 是 无 需 测试 或 通过 其 他 手段 保证 质量 ， 最 好 有 其 对 应 的 风险 分 析 结 论 和 依 
据 。 


4.3.3 ”测试 项 目 过 程 数据 的 应 用 


在 我 们 产品 的 实践 历程 中 ， 项 目 过 程 数据 的 采集 ， 最 初 是 为 了 进行 工作 量 估计 ， 通 过 过 程 数 据 建立 工作 量 、 用 例 数 、 代 码 规 
模 的 关系 ， 并 据 此 进行 新 项 目的 测试 工作 量 估计 。 后 来 发 现 ， 分 析 缺 陷 的 趋势 有 助 于 判断 测试 能 否 按 计 划 结 束 ， 分 析 缺 陷 、 履 
盖 、 工 作 量 的 关系 有 助 于 发 现 测试 的 薄弱 环节 ， 于 是 开始 在 项 目 中 实时 采集 和 分 析 过 程 数据 ， 帮 助 及 时 调整 测试 策略 。 


有 一 段 时 间 ， 我 们 的 测试 团队 引入 了 Gompertz 模 型 对 产品 缺陷 进行 预测 ， 将 发 现 的 缺陷 总 数 按时 间 轴 统计 后 ， 计 算出 产品 
还 有 多 少 未 发 现 的 缺陷 。 最 后 会 得 出 类 似 这 样 的 结论 : 98% 的 可 能 性 ， 产 品 还 有 3 个 缺陷 未 发 现 。 但 是 无 法 知道 是 哪 类 缺陷 ， 缺 
陷 是 否 严重 、 有 多 大 的 影响 ， 这 个 统计 意义 上 的 结论 无 法 帮助 系统 工程 师 制订 预防 措施 ， 因 此 现在 很 少 有 产品 使 用 这 个 方法 。 目 
前 ， 对 未 发 现 缺陷 进行 预测 仍 是 测试 的 一 个 难题 。 


以 上 是 我 们 的 测试 团队 在 测试 过 程 数 据 分 析 上 有 益 的 尝试 ， 而 我 们 走 过 的 弯路 多 数 和 考核 有 关 : 想 通过 每 天 执行 的 用 例 数 、 
发 现 的 缺陷 数 来 对 比 测试 工程 师 的 业绩 ， 但 是 很 快 用 例 和 缺陷 的 数目 就 开始 暴涨 。 想 通过 缺陷 密度 衡量 开发 工程 师 的 工作 质量 ， 
但 最 后 不 是 代码 量 陡然 增 大 ， 就 是 缺陷 莫名 消失 。 试 图 通过 规范 、 审 计 的 方法 去 纠正 数据 的 偏差 但 除了 增加 管理 成 本 ， 并 不 能 
彻底 改善 数据 的 质量 。 


从 我 的 经 验 看 ， 项 目 过 程 数 据 用 于 问题 分 析 和 识别 通常 是 有 效 的， 也 可 以 用 于 评价 研发 过 程 的 问题 是 否 解决 。 但 绝 不 能 用 于 
对 人 或 项 目的 考核 ， 数 据 一 旦 用 于 考核 ， 就 无 法 再 保证 其 客观 性 ， 无 论 为 这 个 数据 的 采集 再 附加 多 少 管理 措施 都 没有 用 。 因 此 ， 
项 目 过 程 数据 只 考察 其 统计 意义 ， 可 以 对 应 到 测试 策略 的 调整 、 研 发 过 程 的 改进 ， 杜 绝对 应 到 某 个 个 体 的 人 的 失误 上 。 


目前 对 项 目 过 程 的 分 析 ， 主 要 数据 是 缺陷 和 履 盖 率 ， 主 要 方法 是 四 和 象限、 柏拉图 、Gompertz 等 ， 主 要 结论 是 某 些 特性 需要 
补充 测试 、 测 试 需要 延期 、 多 测试 一 轮 或 者 可 以 正常 结束 ， 等 等 。 通 过 一 个 项 目的 数据 分 析 影 响 了 项 目的 走向 和 计划 ， 帮 助 项 目 
或 产品 确定 了 补救 或 规避 措施 的 案例 ， 在 我 们 的 项 目 中 极 少见 到 。 


项 目 过 程 数据 更 重要 的 应 用 ， 是 将 多 个 项 目的 数据 进行 综合 分 析 ， 说 明 研 发 活动 需要 改进 的 问题 及 其 根本 原因 ， 进 而 启动 专 
项 的 研发 改进 活动 。 


例如 ， 某 产品 发 现 近 半年 以 来 ， 项 目 到 了 发 布 时 间 几 乎 总 是 需要 延期 ， 于 是 启动 了 研发 过 程 改 进 分 析 。 


【基准 分 析 】 分 析 研 发 的 各 环节 设计、 开发、 测试 等 ) 的 周期 比例 ， 发 现 测试 周期 占 整个 项 目 周期 的 近乎 50%， 以 往 的 基 
准 都 是 在 35% 左 右 ， 很 明显 ， 测 试 的 效率 降低 了 。 但 是 ， 测 试 团 队 并 没有 发 生 大 的 组 织 调整 ， 用 例 密度 和 基 装 值 也 没有 明显 差 
别 ， 因 此 ， 效 率 降 低 的 原因 很 可 能 不 是 测试 工程 师 的 能 力 降低 了 。 分 析 测 试 轮 次 发 现 ， 项 目的 平均 测试 轮 次 是 ? 轮 ， 以 往 的 经 验 
值 是 3 轮 ， 这 说 明 是 由 于 质量 问题 导致 测试 工作 量 加 大 。 但 是 ， 另 一 方面 项 目 整体 的 缺陷 密度 和 基 装 值 差别 不 明显 ， 这 说 明 很 可 
能 代码 质量 不 是 问题 的 主要 原因 。 


【趋势 分 析 】 分 析 缺 陷 趋 势 发 现 ， 在 测试 开始 大 约 7 天 以 后 缺陷 开始 爆发 ， 以 往 的 经 验 是 测试 开始 3 天 以 后 缺陷 开始 爆发 ， 
这 说 明 测 试 在 基本 功能 验证 上 伦 了 太 多 时 间 。 在 第 三 轮 的 测试 中 ， 缺 陷 收敛 的 趋势 仍 不 明显 ， 以 往 的 经 验 是 第 二 轮 测试 就 很 少 发 
现 新 的 缺陷 ， 这 说 明 修改 缺陷 极 易 引入 新 缺陷 ， 导 致 缺陷 收敛 变 慢 , 


【分 布 分 析 】 分 析 测 试 开 始 后 前 7 天 ， 以 及 第 三 轮 以 后 发 现 的 缺陷 ， 发 现 : 一 方面 基本 功能 缺陷 多 ， 这 类 缺陷 通常 会 阻塞 性 
测试 ， 使 得 开发 工程 师 不 得 不 紧急 修改 缺陷 并 更 新 版 本 ， 这 种 情况 下 修改 的 代码 常常 在 设计 和 验证 上 做 得 不 够 ， 极 易 引 入 新 缺 
陷 ; 另 一 方面 无 效 缺 陷 (定位 以 后 发 现 是 配置 或 数据 设置 问题 ， 非 代码 缺陷 ) 较 多 ， 这 类 缺陷 常常 需要 伦 较 多 时 间 重 现 和 定位 。 


至 此 ， 交 付 延 期 的 主要 问题 聚焦 在 减少 基本 功能 缺陷 和 无 效 缺陷 上 。 为 解决 这 两 类 问题 ， 需 要 开发 工程 师 对 基本 功能 的 正确 
性 负责 、 测 试 工程 师 提 前 熟悉 特性 的 正确 使 用 方法 。 制 订 的 改进 措施 是 : 


* 在 coding 完 成 之 前 ， 测 试 工程 师 准 备 好 基本 功能 的 业务 场景 验证 用 例 ， 并 和 系统 工程 师 、 开 发 工程 师 共 同 完成 用 例 的 评 


到 


" 在 coding 完 成 时 ， 开 发 工程 师 与 测试 工程 师 一 起 完成 基本 功能 的 业务 场景 验证 用 例 的 调试 ，“ 基 本 功能 验证 用 例 全 部 测试 
通过 ”作为 开发 工程 师 提交 代码 的 必要 条 件 。 


. 在 首 轮 测试 完成 前 ， 测 试 工程 师 实 现 基本 功能 的 业务 场景 的 自动 化 测试 ， 后 续 版 本 开发 中 ， 开 发 工程 师 将 “基本 功能 的 业 
务 场景 的 自动 化 测试 100% 通 过 ”作为 每 次 提交 代码 的 必要 条 件 。 


过 程 数据 由 于 采集 周期 长 、 数 据 种 类 多 ， 从 工作 量 的 角度 ， 一 般 不 考虑 手工 记录 条 集 。 覆 盖 率 的 数据 ， 最 好 是 使 用 工具 ， 
在 测试 的 过 程 中 同步 、 自 动 地 记录 。 其 他 的 项 目 过 程 数据 ， 最 好 是 从 已 有 工作 流 或 项 目 记录 中 导出 。 就 目前 普遍 的 项 目 管理 水 平 
而 言 ， 大 部 分 项 目 结束 后 ， 是 无 法 获得 全 部 过 程 数据 的 ， 对 此 ， 测 试 人 员 也 不 必 感 到 焦虑 ， 对 于 测试 而 言 ， 能 够 把 缺陷 数据 弄 准 
确 才 是 基本 职责 ， 其 他 数据 如 果 无 法 准确 获取 ， 只 能 说 明 当前 还 没有 进行 这 方面 改进 的 必要 (参见 5.3.2 节 “测试 在 流程 运转 中 
该 不 该 挥舞 大 棒 ”) 。 

我 们 的 所 有 产品 研发 项 目 都 使 用 统一 的 缺陷 管理 电子 流 ， 通 过 一 段 时 间 的 推行 ， 基 本 上 实现 了 全 部 缺陷 通过 电子 流 处 理 ， 因 
此 缺陷 相关 的 数据 都 可 以 从 工具 中 直接 导出 。 其 他 的 工具 包括 : 覆盖 率 方面 只 能 统计 到 逻辑 代码 覆盖 率 ， 据 说 爱立信 的 代码 覆盖 
工具 可 以 统计 到 分 支 和 逻辑 覆盖 率 ; 利用 项 目 管理 工具 ， 并 且 过 程 规范 的 ， 可 以 实时 得 到 工作 量 、 项 目 偏差 相关 的 数据 ; 利用 需 
求 管理 工具 对 需求 进行 规范 化 跟踪 的 ， 需 求 的 覆盖 率 和 测试 强度 也 可 以 直接 统计 到 |。 


4.3.4 ”用 例 执行 过 程 数据 


记录 用 例 执 行 过 程 数据 的 主要 目的 是 为 了 发 现 隐藏 的 缺陷 。 用 例 执 行 的 过 程 数 据 一 般 有 : 

性 能 测试 的 过 程 数 据 。 主 要 是 记录 测试 过 程 中 时 间 和 资源 相关 的 详细 数据 ， 如 用 户 数据 模型 、 压 力 模型 、 测 试 持续 的 时 
间 、 操 作 耗 时 的 分 布 、 系 统 响应 延 时 的 分 布 、 数 据 同步 延 时 的 分 布 、 系 统 资源 占用 情况 的 波动 和 分 布 等 。 

可 靠 性 测试 的 过 程 数 据 。 主 要 是 记录 故障 发 生 时 、 恢 复 时 、 恢 复 后 ， 在 系统 、 产 品 、 业 务 上 产生 了 什么 影响 ， 例 如 : 故障 


时 系统 的 资源 消耗 情况 、 系 统 对 故障 的 反应 延 时 、 故 障 处 理 持 续 时 间 、 业 务 的 压力 模型 、 业 务 中 断 持续 时 间 、 业 务 恢复 持续 时 
间 、 业 务 处 理 出 错 比 例 等 。 


* 可 服务 性 测试 的 过 程 数据 。 主 要 是 记录 服务 操作 的 效率 ， 以 及 操作 对 系统 、 产 品 、 业 务 产 生 的 影响 ， 例 如 : 安装 、 升 级 、 
统计 、 报 表 等 运营 、 维 护 和 管理 操作 的 耗 时 、 成 功率 、 各 步骤 试 错 次 数 ， 操 作 过 程 中 业务 的 性 能 变化 等 。 


* 体验 测试 的 过 程 数 据 。 主 要 是 记录 影响 用 户 体验 的 详细 数据 ， 这 些 数据 可 以 用 来 分 析 影 响 用 户 体验 的 主要 问题 ， 例 如 : 完 
成 首次 业务 操作 的 耗 时 ， 业 务 操 作 的 试 错 次 数 、 点 击 次 数 、 跳 转 次 数 ， 操 作 耗 时 、 等 待 耗 时 、 界 面 停留 时 间 等 。 

: 功能 测试 的 过 程 数据 。 通 常 特性 的 功能 测试 不 会 额外 记录 过 程 数据 ， 但 是 如 果 在 测试 过 程 中 发 现 设计 要 求 之 外 的 数据 变 
化 、 界 面 操作 、 日 志 记 录 ， 则 建议 进行 记录 ， 以 便 事后 查验 。 具 体 的 记录 内 容 ， 需 要 根据 特性 的 特点 确定 。 


用 例 执行 过 程 数 据 与 测试 结果 数据 之 间 并 没有 严格 的 区 分 。 产 品 测试 中 ， 同 时 记录 全 部 两 类 数据 ， 并 在 测试 完成 后 ， 将 产品 
规格 中 包含 的 数据 项 作为 测试 结果 数据 写 入 测试 报告 。 


对 这 些 过 程 数 据 常规 的 分 析 有 基准 和 例外 分 析 、 趋 势 分 析 ， 以 下 逐一 介绍 。 


【基准 和 例外 分 析 】 经 过 若干 项 目的 积累 后 ， 各 个 数据 项 会 形成 一 个 稳定 的 数据 区 间 ， 这 个 区 间 就 成 为 这 个 数据 项 约定 俗 成 
的 基准 。 如 果 某 个 版 本 的 数据 出 现 与 基准 偏离 较 大 的 情况 ， 就 需要 进行 例外 分 析 ， 大 部 分 时 候 这 个 例外 就 意味 着 缺陷 。 


以 性 能 测试 为 例 ， 产 品 在 标 称 性 能 指标 〈 标 称 性 能 指标 是 指 产品 规格 中 给 出 的 、 产 品 号 称 可 以 达到 的 处 理 能 力 ) 的 压力 下 的 
CPU 占 用 率 基准 是 40%， 波 动 幅度 +8%， 如 果 某 个 版 本 在 标 称 性 能 指标 的 压力 下 CPU 平 均 占用 率 40%， 但 是 波动 幅度 超过 
+309%， 即 使 业务 处 理 的 成 功率 、 延 时 都 符合 规格 ， 也 认为 出 现 了 性 能 缺陷 ， 因 为 根据 经 验 ，CPU 占 用 率 波 动 幅度 过 大 ， 常 常 预 
示 着 产品 的 性 能 不 再 有 提升 空间 ; 长 期 运行 后 会 出 现 性 能 下 降 ; 在 业务 处 理 量 少量 超出 标 称 性 能 指标 时 ， 产 品 极 易 出 现 运行 不 稳 
定 、 业 务 处 理 异 常 的 问题 。 因 此 ， 需 要 将 这 类 情况 作为 异常 提交 给 系统 工程 师 ， 对 处 理 流程 以 及 算法 进行 审视 和 优化 。 


【趋势 分 析 】 用 例 执 行 过 程 数 据 的 趋势 分 析 ， 有 随 容 量 或 压力 增加 的 变化 趋势 ， 以 及 随时 间 轴 的 变化 趋势 。 分 别 介绍 如 下 : 


【 随 容量 或 压力 增加 的 变化 趋势 】 资 源 、 延 时 、 耗 时 相 天 的 数据 ， 随 着 容量 或 压力 增加 的 变化 趋势 。 具 体 做 法 是 确定 ?~10 
个 容量 或 压力 值 ， 在 这 个 条 件 下 进行 性 能 、 可 靠 性 、 可 服务 性 等 的 测试 ， 每 个 容量 或 压力 值 下 让 产品 稳定 运行 10~30min， 将 记 
录 的 数据 作为 一 个 点 。 最 后 用 这 5~ 10 个 点 拟 合 一 个 变化 趋势 曲线 。 这 个 分 析 在 性 能 测试 中 使 用 的 比较 多 ， 完 成 测试 后 ， 就 会 得 
到 一 个 性 能 稳定 区 间 ， 在 这 个 区 间 内 随 着 容量 或 压力 增加 ， 资 源 消耗 平稳 增加 、 延 时 几乎 维持 不 变 。 同 时 还 会 得 到 一 个 性 能 拐 
点 ， 在 拐点 附近 资源 消耗 或 延 时 陡然 增加 。 这 组 数据 可 以 用 于 市 场 谈判 或 者 产品 的 日 常 维护 ( 见 示例 : 资源 占用 随 压 力 增 加 的 趋 
势 图 ) 。 


【示例 】 资 源 占 用 随 压 力 增加 的 趋势 图 ， 如 图 4-12 所 示 。 
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图 4-12 ”资源 占用 随 压 力 增加 的 趋势 图 


这 个 示例 中 : 在 一 定 区 间 内 ， 随 着 性 能 压力 的 增 大 ，CPU 占 用 率 线性 增加 ; 产品 对 业务 请 求 的 响应 延 时 维持 稳定 ; 其 他 系 
统 资源 占用 (如 内 存 ) 呈现 比较 规律 的 变化 。 由 于 在 这 个 区 间 内 ， 产 品 的 资源 占用 、 响 应 延 时 等 表征 产品 性 能 的 数据 都 是 可 以 预 
测 的 ， 因 此 产品 的 标 称 性 能 指标 应 在 这 个 区 间 之 内 ， 并 且 留 有 一 定 的 余 量 。 


当 性 能 压力 增加 大 到 一 定 程 度 ， 产 品 的 性 能 表现 开始 不 稳定 ， 表 现 为 CPU 占用 率 突然 明显 增高 ; 对 业务 请 求 的 响应 明显 变 
慢 ; 业务 请 求 的 成 功率 明显 降低 。 一 般 称 这 个 发 生性 能 不 稳定 的 压力 点 为 : 性 能 拐点 。 


随时 间 轴 的 变化 趋势 。 在 容量 和 压力 维持 稳定 不 变 的 情况 下 进行 测试 ， 同 时 记录 业务 处 理 成 功率 、 延 时 、 资 源 消耗 随时 间 的 
变化 趋势 ， 通 常 这 个 测试 至 少 需 要 持续 记录 30~120min 的 数据 。 这 个 分 析 在 性 能 、 可 靠 性 、 可 服务 性 测试 中 都 使 用 。 性 能 测试 
中 ， 如 果 容 量 和 压力 维持 不 变 ， 但 成 功率 、 延 时 有 较 大 波动 、 资 源 消耗 持续 增加 ， 则 表示 产品 性 能 表现 不 稳定 ， 需 要 改进 ( 见 示 
例 : 资源 占用 随时 间 的 趋势 图 ) 。 可 靠 性 和 可 服务 性 测试 中 ， 只 有 业务 处 理 成 功率 、 延 时 、 资 源 消耗 都 恢复 到 故障 或 操作 前 的 水 
平 ， 才 认为 故障 或 操作 对 业务 的 影响 完全 消除 ， 产 品 恢复 正常 运行 ( 见 示例 : 性 能 表现 随时 间 的 趋势 图 ) 。 


【示例 】 资 源 占用 随时 间 的 趋势 图 ， 如 图 4-13 所 示 。 
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图 4-13 ”资源 占用 随时 间 的 趋势 图 


理论 上 ， 在 性 能 压力 维持 稳定 不 变 的 情况 下 ， 资 源 占用 、 响 应 延 时 等 表征 产品 性 能 的 数据 也 应 该 维持 稳定 ,或 者 在 一 定 范围 
内 波动 。 


这 个 示例 中 ， 性 能 压力 维持 不 变 的 情况 下 ， 内 存在 3h 的 测试 过 程 中 持续 增长 ， 这 显示 很 可 能 产品 在 处 理 业 务 的 过 程 中 存在 


内 存 泄 露 ; 产品 对 业务 请 求 的 响应 延 时 也 在 持续 增加 ， 这 显示 可 能 产品 在 这 个 性 能 压力 下 产生 了 消息 堆积 (消息 在 消息 队列 中 等 
待产 品 按 顺 序 处 理 时 ， 消 息 进入 队列 的 速度 大 于 从 队列 中 取出 消息 进行 处 理 的 速度 ， 这 样 ， 消 息 队 列 中 消息 就 会 越 来 越 多 ， 产 生 
堆积 ) 。 无 论 是 内 存 泄 露 还 是 消息 堆积 ， 都 会 影响 产品 的 长 期 稳定 运行 ， 需 要 作为 缺陷 提出 来 并 分 析 解 决 。 
【示例 】 性 能 表现 随时 间 的 趋势 图 ， 如 图 4-14 所 示 。 


这 是 一 个 故障 处 理 时 ， 产 品 的 性 能 表现 随时 间 变 化 的 示例 。 本 示例 中 ， 两 台 主 机 A 和 B 采 用 负荷 分 担 (业务 请 求 平均 分 配 到 
若干 台 主 机 上 进行 处 理 ) 的 方式 实现 业务 请 求 的 处 理 。 当 测试 进行 到 2min 时 ， 主 机 A 发 生 故 障 导致 业务 中 断 (发 送 到 主机 A 的 业 
务 请 求 均 无 法 正确 完成 ) ， 随 后 开始 进行 故障 定位 、 解 决 、 恢 复 的 各 种 操作 。 当 测试 进行 到 13min 时 ， 所 有 故障 处 理 操 作 都 正确 
完成 ， 主 机 A 开 始 恢复 业务 处 理 。 由 于 故障 期 间 堆积 了 大 量 的 请 求 和 其 他 事务 ， 主 机 A 的 业务 处 理 延 时 和 成 功率 到 19min 时 才 完 
全 恢复 正常 。 
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图 4-14 性 能 表现 随时 间 的 趋势 图 


在 计算 故障 恢复 时 长 时 ， 常 见 的 方式 是 计算 从 故障 发 生 到 故障 处 理 全 部 操作 成 功 完成 的 时 间 ， 在 本 示例 中 是 11min。 但 在 产 
品 实际 使 用 中 ， 常 常 是 操作 完成 后 业务 并 没有 完全 恢复 ， 我 们 的 产品 中 曾经 有 过 最 极端 的 例子 一 一 主机 故障 恢复 以 后 没有 多 
和 久 ， 就 由 于 故障 期 间 请 求 堆积 的 太 多 ， 导 致 新 的 业务 中 断 故 障 。 因 此 ， 在 测试 中 ， 除 了 关心 完成 故障 处 理 的 操作 需要 多 长 时 间 ， 
还 需要 天 注 业 务 性 能 恢复 到 正常 需要 多 长 时 间 ， 一 般 建议 在 “ 平 峰 期 ”的 性 能 压力 (相对 业务 高 峰 期 而 言 ， 一 般 位 于 1/4~1/2 的 
标 称 性 能 指标 ) 下 测试 这 个 数据 。 


4.3.5 “用例 执行 过 程 数据 的 应 用 
在 我 们 产品 的 实践 历程 中 ， 用 例 执行 过 程 数 据 的 采集 ， 最 初 是 为 了 在 进行 问题 的 确认 和 疑问 的 求证 的 时 候 ， 可 以 不 必 重 新 测 


试 一 遍 。 因 此 对 那些 测试 起 来 比较 耗 时 的 内 容 ， 如 性 能 测试 、 应 用 场景 测试 ， 开 始 进 行 详细 的 过 程 数据 记录 ， 以 便 可 以 随时 查询 
任何 时 间 点 上 的 测试 流程 和 数据 、 产 品 性 能 表现 、 系 统 资源 消耗 情况 等 信息 。 


产品 应 用 了 一 段 时 间 以 后 ， 发 现 产品 在 客户 使 用 中 暴露 的 性 能 缺陷 ， 例 如 : 长 时 间 运 行 后 性 能 降低 ;高 峰 期 业务 处 理 成 功率 
不 稳定 ; 在 促销 活动 时 系统 受 冲击 骨 溃 等 ， 在 测试 时 也 可 以 通过 数据 分 析 提 前 发 现 。 于 是 开始 完善 性 能 测试 中 采集 的 数据 ， 并 将 
过 程 数据 的 分 析 摆 在 和 性 能 指标 测试 一 样 重要 的 位 置 上 。 现 在 ， 通 过 性 能 测试 ， 不 仪 能 够 获得 产品 的 处 理 能 力 和 容量 的 指标 ， 还 
可 以 起 到 以 下 作用 : 


获得 性 能 拐点 。 产 品 维持 稳定 运行 所 能 承载 的 压力 上 限 ， 有 时 ， 性 能 拐点 也 是 
略 需要 参考 这 个 结论 进行 配置 ; 维护 和 服务 部 门 可 以 根据 这 个 结论 对 在 线 运行 的 产 


产品 性 能 测试 的 结论 之 一 。 产 品 的 过 载 控制 策 
Ce 品 
前 和 客户 一 起 做 好 预 


进行 性 能 监控 ， 以 便 在 性 能 压力 到 达 拐 点 之 


并 
案 


获得 性 能 瓶颈 。 影 响 产品 达到 更 好 性 能 的 主要 因素 ， 性 能 瓶颈 通常 是 某 种 系统 资源 ， 如 CPU、 内 人 存 、MO、 和 句柄 等 。 当 产品 
计划 提升 性 能 的 时 候 ， 需 要 的 用 例 执 行 过 程 数 据 会 更 加 细致 ， 第 一 步 就 是 采集 每 个 业务 流程 、 每 个 产品 进程 的 资源 占用 数据 ， 以 
确定 进行 性 能 优化 的 对 象 。 然 后 才 利用 软件 和 数据 的 性 能 分 析 工 具 ， 找 到 具体 的 、 需 要 优化 的 数据 库 表 、 数 据 库 操 作 、 代 码 段 、 
处 理 流程 等 。 当 然 ， 有 时 候 性 能 瓶颈 并 不 是 系统 资源 ， 我 们 的 产品 也 有 过 这 样 的 案例 一 一 性 能 测试 时 ， 在 系统 任何 资源 占用 率 
都 不 超过 20%， 资 源 占用 率 波动 也 很 小 的 情况 下 ， 就 出 现 业 务 处 理 成 功率 明显 降低 (达到 性 能 拐点 的 标志 ) 的 情况 。 这 种 情况 通 
常 是 由 于 锁 使 用 不 当 、 业 务 处 理 流程 不 合理 等 程序 设计 和 代码 实现 上 的 原因 导致 的 ， 只 能 通过 软件 性 能 的 分 析 工 具 找 到 瓶颈 ， 用 
例 执 行 过 程 数 据 的 帮助 一 般 不 大 。 


稳定 性 问题 定位 。 产 品 在 线 使 用 时 ， 出 现 运 行 一 段 时 间 后 性 能 下 降 (表现 为 对 业务 请 求 处 理 的 成 功率 下 降 、 响 应 延 时 加 
长 ) 、 性 能 时 好 时 坏 、 发 生 无 法 重 现 的 异常 等 。 这 些 问题 最 常用 的 在 线 处 理 方法 是 重启 系统 恢复 ， 但 是 系统 重启 后 问题 的 原因 又 
无 迹 可 寻 。 常 见 的 做 法 是 在 实验 室 采用 “空间 换 时 间 ” 的 方法 重 现 问题 一 一 给 产品 加 上 标 称 性 能 指标 的 压力 ， 运 行 一 段 时 间 

(通常 比 在 线 系统 出 现 间 题 所 需 时 间 短 很 多 ) 使 问题 重 现 ， 测 试 期 间 观 察 资源 占用 、 业 务 处 理 耗 时 、 延 时 ， 以 及 额外 记录 的 业务 
处 理 过 程 的 数据 ， 通 过 数据 与 问题 现象 的 相关 关系 ， 对 问题 进行 初步 判断 或 猜测 。 


指导 配置 。 客 户 确 定 了 容量 、 压 力 和 成 本 的 需求 后 ， 给 客户 提供 的 方案 中 可 以 采用 哪 几 种 软 、 硬 件 的 配置 。 原 则 上 ， 只 要 容 
量 和 压力 的 需求 落 在 “性 能 稳定 区 间 ” ， 都 是 可 以 采用 的 配置 方案 ， 市 场 部 门 可 以 综合 成 本 、 拓 展 策 略 、 后 续 业 务 的 发 展 等 方面 
从 多 个 配置 方案 中 选 优 。 


在 很 长 一 段 时 间 ， 用 例 执行 过 程 数据 的 记录 都 只 侧重 性 能 测试 ， 其 他 测试 执行 的 过 程 数 据 只 是 用 例 预 置 条 件 、 操 作 步 又 、 实 
际 结果 的 细 化 ， 包 含 操作 过 程 和 参数 、 中 间 结 果 、 数 据 库 记录 的 快照 、 操 作 界 面 的 截屏 等 。 直 到 持续 收 到 一 些 客户 报告 的 可 服务 
性 和 可 靠 性 问题 后 ， 事 情 才 开始 变化 。 比 如 ， 测 试 结果 显示 升级 操作 5min 就 能 完成 ， 结 果 客 户 等 了 2h 操 作 也 没有 返回 操作 结 
果 ; 测试 结果 显示 故障 后 业务 能 够 在 10min 内 恢复 ， 结 果 出 故障 后 业务 受 影响 的 时 间 是 整整 6h。 


这 促使 我 们 的 测试 团队 认识 到 : 可 服务 性 、 可 靠 性 测试 在 执行 用 例 时 ， 需 要 加 载 正常 的 背景 压力 。 除 了 观察 和 记录 操作 本 身 
的 数据 ， 还 需要 观察 和 记录 操作 过 程 中 的 业务 和 系统 性 能 数据 变化 。 除 了 观察 进行 操作 的 这 一 段 时 间 的 数据 ， 还 需要 观察 操作 完 
成 后 ， 直 至 业务 性 能 完全 恢复 的 这 一 段 时 间 的 数据 。 


这 样 做 看 上 去 是 丰富 了 观察 数据 ， 但 实际 上 是 纠正 了 用 例 执行 的 错误 。 正 如 进行 功能 测试 时 ， 在 用 例 执行 完成 后 ， 除 了 确认 
返回 值 符合 预期 ， 还 需要 确认 数据 库 记 录 、 操 作 记 录 等 都 符合 预期 。 同 样 ， 在 进行 可 靠 性 和 可 服务 性 测试 时 ， 除 了 确认 操作 本 身 
的 结果 ， 还 需要 确认 操作 对 业务 的 影响 符合 预期 ， 而 这 个 影响 ， 就 是 通过 加 载 背 景 压力 后 获得 的 各 种 系统 资源 占用 、 业 务 处 理 耗 
时 、 延 时 等 数据 来 分 析 的 。 


通过 分 析 用 例 执行 过 程 数据 所 发 现 的 问题 ， 常 常会 比较 难处 理 ， 因 为 这 个 数据 应 该 是 多 少 、 应 该 呈现 什么 样 的 变化 趋势 、 应 
该 有 多 大 的 波动 ， 这 些 在 产品 的 规格 中 没有 约定 。 比 如 ， 某 个 用 户 操作 5s 后 才 有 返回 页 面 ， 测 试 工程 师 认 为 5s 时 间 太 长 ， 但 开发 
工程 师 很 可 能 认为 这 不 是 个 缺陷 ， 因 为 这 个 操作 的 处 理 很 复杂 ， 完 成 所 有 的 处 理 必需 这 么 长 时 间 。 对 这 类 问题 ， 推 荐 的 处 理 方式 
是 : 要 么 讲 故事 ， 要 人 么 做 对 比 。 


以 操作 延 时 5s 的 这 个 问题 为 例 说 明 如 何 做 对 比 和 讲 故 事 : 


“ 做 对 比 指 的 是 和 产品 的 设计 准则 、 业 界 经 验 值 、 产 品 的 历史 值 做 对 比 。 例 如 本 操作 用 时 5s,， 但 业界 常规 的 设计 准则 是 2s 内 
返回 页 面 (因为 在 这 个 时 间 没 有 得 到 响应 ， 一 般 人 们 会 进行 重 试 ) ; 产品 的 其 他 所 有 操作 都 是 1s 左 右 返 回 ; 曾经 有 操作 超过 5s 返 
回 被 客户 作为 缺陷 提交 。 


. 讲 故 事 指 的 是 放 在 使 用 场景 中 说 明 影响 。 例 如 对 这 个 特性 进行 体验 测试 时 ， 由 于 等 待 时 间 过 长 ， 导 致 体验 人 员 平 均 在 3s 的 
时 候 开 始 重 试 ， 平 均 重 试 3 次 以 后 才能 等 到 正确 结果 。 


如 果 开 发 、 测 试 对 是 否 是 缺陷 存在 分 歧 ， 而 测试 工程 师 既 拿 不 出 对 比 数 据 、 也 无 法 讲 清楚 故事 ， 那 么 将 很 难 认定 这 确实 是 一 
个 缺陷 。 


最 后 ， 需 要 注意 数据 的 存档 。 存 档 的 数据 不 仅 包 含 测试 结果 ， 也 应 该 包含 用 例 执 行 的 过 程 数 据 。 例 如 保存 性 能 测试 结果 数据 
的 时 候 ， 除 了 有 产品 达到 的 性 能 指标 一 一 主要 是 TPS， 还 应 该 包含 测试 用 的 用 户 数据 模型 、 业 务 流程 、 同 时 在 线 用 户 数 、 测 试 持 
续 的 时 间 、 系 统 对 请 求 的 响应 延 时 、CPU/ 内 存 / 带 宽 的 占用 情况 等 。 保 存 这 些 细节 数据 一 方面 是 方便 测试 过 程 的 回溯 ， 另 一 方面 
是 方便 进行 跨 版 本 的 数据 分 析 (主要 是 基准 分 析 ) 。 


用 例 执行 的 过 程 数 据 ， 需 要 在 测试 的 过 程 中 同步 、 自 动 地 记录 ， 这 是 对 测试 执行 辅助 工具 或 自动 化 执行 工具 的 要 求 之 一 。 


4.4 用 数据 井 好 测试 故事 


想 要 让 测试 工作 被 研发 团队 其 他 成 员 了 解 并 信任 ， 数 据 的 作用 不 亚 于 缺陷 。 缺 陷 比 较 具体 一 一 产品 存在 什么 样 的 问题 ; 数 
据 比较 抽象 一 一 产品 在 哪个 方面 出 问题 的 风险 比较 大 。 缺 陷 是 离散 的 “点 ”一 缺陷 之 间 没 有 逻辑 关系 ; 数据 是 系统 
的 “ 面 ” 一 一 多 种 数据 综合 起 来 形成 对 产品 质量 的 完整 评价 。 缺 陷 是 现象 ; 数据 导出 结论 。 


本 章 按照 数据 的 类 别 分 别 介绍 其 内 容 、 作 用 、 采 集 分 析 中 的 经 验 教训 ， 汇 总 如 表 4-7 所 示 。 


表 4-7 提供 数据 所 需 的 方法 和 技术 


有 


遗留 缺陷 数量 和 级 别 ; 主要 业务 缺陷 分 析 ; 
测试 结果 流程 的 每 秒 事务 数 (TPS); 安装 耗 决策 性 能 及 其 他 DFX 的 指标 测 
时 、 主 要 操作 的 平均 响应 延 时 等 试 和 数据 记录 
风险 技术 风险 RBT (基于 风险 的 测试 ) 
缺陷 数 和 缺陷 密度 ; 工作 量 和 工 支撑 测试 结果 ; 项 目 过 程 数据 ; 
测试 过 程 数据 作 量 密度 ; 代码 覆盖 率 ; 系统 在 不 发 现 改 进 点 ; 质量 分 析 方 法 ; 


同 压力 下 的 资源 消耗 、 响 应 延 时 等 建立 基准 DFX 用 例 执 行 过 程 数据 


这 些 数据 支持 测试 讲 好 测试 的 3 个 故事 : 我 的 结论 是 什么 、 我 依据 什么 做 出 的 结论 、 为 什么 我 做 的 测试 是 足够 的 。 测 试 数据 
与 这 3 个 故事 的 关系 如 图 4-15 所 示 。 


测试 结果 数据 和 风险 评估 结果 用 于 说 明 ， 在 测试 的 最 后 观察 到 系统 质量 表现 是 怎样 的 ， 根 据 这 些 表 现 可 以 做 出 怎样 的 最 终 判 
断 。 


风险 跟踪 的 过 程 、 针 对 风险 的 验证 内 容 、 结 果 数 据 中 的 测试 范围 、 测 试 执行 过 程 中 记录 的 重要 观察 内 容 。 这 些 信息 表现 的 
是 : 为 了 得 到 这 些 结果 数据 ， 在 测试 活动 中 开展 了 哪些 工作 。 


对 风险 的 覆盖 情况 、 项 目 过 程 数据 的 分 析 ， 以 及 用 例 测试 结果 的 完整 性 ， 这 些 信息 说 明 测 试 工 作 已 经 做 到 当前 能 做 到 的 最 好 
水 平 。 


我 的 判断 是 什么 
我 依据 什么 做 的 判断 


WW 


i we 
~ 


我 做 了 什么 获得 了 这 些 依据 


” 


用 例 执行 
数据 


项 目 过 程 数 据 


我 做 的 是 足够 的 、 合 适 的 


Se 


站 


图 4-15 测试 故事 与 数据 之 间 的 关系 


4.5 小结 


结果 、 风 险 、 过 程 数 据 是 测试 活动 的 重要 产 出 ， 构 成 了 测试 报告 的 主要 内 容 。 根 据 金 字 塔 原理 ， 测 试 报告 最 好 采用 以 下 结 
构 : 
' 首先 给 出 版 本 测试 的 最 终结 论 ， 用 例 执行 的 结果 性 指标 数据 、 遗 留 风 险 ; 


: 其 次 是 详细 的 风险 跟踪 表 、 用 例 执 行 的 关键 过 程 数 据 及 其 图 表 ; 


* 最 后 是 项 目 过 程 数 据 的 分 析 ， 以 及 基于 分 析 给 出 的 改进 建议 。 


第 5 草 “测试 过 程 可 控 


如 果 说 拦截 缺陷 、 提 供 数据 是 研发 对 测试 提出 的 “ 显 性 需求 ”， 测 试 过 程 可 控 就 是 对 测试 提出 的 “ 隐 性 需求 ”。 


测试 过 程 可 控 是 指 测试 的 周期 和 投入 稳定 ， 工 作 质 量 可 被 产品 团队 和 客户 接受 。 测 试 的 质量 、 成 本 和 效率 的 提升 和 研发 整体 
的 提升 同步 。 可 见 ， 测 试 过 程 可 控 是 研发 团队 对 测试 的 基本 要 求 ， 谁 也 无 法 忍受 一 个 测试 团队 做 完 版 本 测试 的 时 间 时 长 时 短 ， 工 
作 完 成 的 质量 时 好 时 坏 。 


过 程 可 控 的 本 质 是 测试 团队 的 能 力 的 稳定 和 持续 提升 。 团 队 能 力 的 载体 包括 : 技术 方法 和 工具 、 流 程 、 组 织 和 人 员 、 平 台 ， 
如 图 5-1 所 示 。 


图 5-1 团队 能 力 的 载体 


团队 能 力 各 个 载体 的 作用 如 下 : 


. 技术 方法 和 工具 。 是 将 个 别人 的 能 力 总 结 成 为 有 形 资产 ， 成 为 可 学 习 和 传播 的 团队 能 力 。 
. 流程 。 是 将 团队 能 力 固化 成 为 流程 活动 ， 使 之 成 为 持续 产生 作用 的 能 力 。 

. 组 织 和 人 员 。 是 能 力 最 根本 的 载体 ， 能 力 落地 的 标志 ， 应 该 是 有 一 定 比 例 的 团队 和 人 掌握 了 相关 的 技术 、 流 程 和 平台 。 
. 平台 。 是 能 力 持 续 发 展 与 传播 的 环境 和 保障 。 


进行 能 力 的 建设 ， 在 实施 上 有 一 些 共 性 的 问题 ， 本 章 首 先 介绍 共性 的 实施 要 点 ， 然 后 再 逐一 介绍 每 项 能 力 载体 的 内 容 ， 以 及 
在 建设 过 程 中 需要 掌握 的 原则 、 需 要 避免 的 问题 。 其 中 组 织 和 人 员 、 平 台 与 公司 文化 、 管 理 理念 天 系 很 大 ， 测 试 基本 上 只 能 去 适 
应 公司 的 大 环境 ， 因 此 这 里 只 做 简单 的 介绍 。 


5.1 能力 建设 实施 要 点 


5.1.1 “从 问题 出 发 寻求 适合 的 能 力 建 设 方向 


测试 团队 决定 进行 能 力 提升 的 工作 ， 通 常 有 两 类 动因 : 被 动 的 ， 由 于 产品 的 质量 或 者 研发 效率 出 了 问题 ， 只 有 提升 能 力 才能 
从 根本 上 解决 问题 ; 主动 的 、 有 一 些 可 以 支配 的 资源 时 ， 主 动 寻 求 能 力 上 的 提升 ， 实 现 团 队 的 增值 。 无 论 出 于 那 种 动机 ， 都 需要 
避免 “ 病 急 乱 投医 ”， 或 者 “想当然 ”。 否 则 工作 很 容易 做 成 : 决策 时 很 草率 ;建设 过 程 很 别扭; 最 后 成 果 被 束之高阁 。 


决策 的 时 候 是 : 领导 让 做 什么 就 做 什么 ; 别人 做 了 什么 我 就 做 什么 ;， 听 说 什么 很 好 就 做 什么 ;从 网 上 看 到 一 个 概念 觉得 很 好 
就 引进 。 


建设 的 过 程 中 ， 发 现 准备 工作 非常 多 ， 难 以 在 期 望 的 时 间 内 见效 ， 例 如 ; 团队 没有 合适 的 人 员 投 入 ; 方法 不 成 就， 不同 的 人 
观点 差别 很 大 ;甚至 不 能 解决 当初 想 解决 的 主要 问题 。 但 是 事情 已 经 开始 ， 承 诺 已 经 做 出 ,没有 理由 半途 而 废 ， 于 是 套用 一 下 别 
人 的 概念 ， 另 起 炉灶 开工 。 


用 ; 只 能 在 苛刻 的 条 件 下 解决 问题 ， 不 通用 。 这 些 都 导致 这 些 成 果 很 少 被 使 用 或 者 干脆 被 束之高阁 。 


出 现 这 个 现象 的 根源 在 于 决策 环节 。 当 需要 决定 要 解决 什么 问题 、 用 什么 方法 、 花 多 长 时 间 、 把 能 力 提 升 到 什么 程度 的 时 
候 ， 并 没有 充足 的 背景 信息 和 相关 知识 。 因 此 ， 无 论 进行 能 力 建 设 的 动机 是 什么 ， 都 需要 首先 识别 解决 什么 问题 ， 基 于 对 问题 的 
深入 分 析 ， 以 及 对 可 用 方法 和 工具 的 广泛 了 解 来 进行 最 初 的 决策 。 


对 问题 的 分 析 应 该 包含 几 个 方面 : 


1) 问题 的 来 历 。 问 题 在 客户 或 者 研发 整体 上 有 什么 外 在 表现 ?外 在 表现 通常 体现 在 质量 、 成 本 、 效 率 、 满 意 度 上 ， 有 的 可 
以 量化 ， 有 的 则 不 能 。 通 过 这 方面 的 分 析 ， 可 以 初步 判断 这 个 工作 是 否 重 要 、 是 否 紧 急 、 做 这 个 工作 时 能 否 找到 赞助 人 ? 赞助 人 
通常 是 问题 的 受害 者 ， 或 者 是 认识 到 问题 危害 的 人 ， 同 时 他 们 也 参与 研发 资源 投入 的 决策 。 通 常 外 在 压力 大 的 问题 可 以 驱动 测试 
被 动 地 提升 能 力 ， 需 要 抓 住 机 会 、 高 调 做 事 ， 并 且 找 到 赞助 人 支持 。 外 在 压力 小 ， 但 确实 严重 的 问题 可 以 驱动 测试 人 员 主 动 地 提 
升 能 力 ， 可 以 先 低调 的 ， 从 测试 方面 进行 准备 。 


2) 内 在 原因 。 引 起 问题 的 内 在 原因 是 什么 ”研发 各 个 环节 存在 什么 问题 ?已 经 做 了 哪些 相应 的 工作 ?做 这 个 分 析 的 时 候 不 
能 想当然 地 推断 ， 而 应 该 和 当事人 去 讨论 ， 追 问 3~5 次 why， 掌 握 问 题 出 现 的 根源 。 通 常 每 个 环节 的 工程 师 都 知道 存在 什么 问 
题 ， 也 并 非 不 想 去 解决 ， 通 过 这 样 的 沟通 ， 会 让 工作 的 难度 充分 暴露 出 来 ， 从 而 制订 出 合适 的 方案 和 目标 。 如 果 沟 通 下 来 发 现 ， 


这 个 问题 牵扯 范围 很 广 ， 技 术 难 度 很 大 ， 管 理 上 的 改变 较 多 ， 又 没有 来 自 客户 的 压力 ， 没 有 来 自 管理 层 的 决心 ， 那 么 很 可 能 当下 
不 是 解决 这 个 问题 的 好 时 机 。 这 就 好 比 医生 有 药 ， 但 患者 不 觉得 自己 需要 治疗 ， 这 时 的 治疗 往往 无 法 持续 ， 也 起 不 到 作用 。 


3) 测试 的 问题 。 外 在 的 表现 落实 到 测试 方面 是 什么 问题 ”产生 问题 的 原因 是 什么 ”可 以 怎样 解决 ”找到 了 问题 和 原因 就 找 
到 了 工作 的 目标 。 想 要 找到 方法 ， 需 要 一 些 测试 领域 的 专业 知识 和 信息 ， 包 括 相关 的 方法 和 工具 ， 以 及 本 产品 、 其 他 产品 、 业 界 
解决 类 似 问题 的 思路 。 最 终 根 据 问题 原因 和 解决 思路 ， 确 定 长 期 和 短期 的 措施 和 相应 的 目标 。 短 期 措施 通常 是 一 次 专项 测试 ， 长 
期 措施 通常 是 形成 彻底 解决 一 类 问题 的 能 力 。 解 决 问题 的 另 一 个 要 素 是 对 测试 方法 和 工具 的 广泛 了 解 ， 我 们 将 在 后 面 的 段落 中 介 
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绍 。 


我 们 的 产品 曾经 有 一 个 网 上 问题 ， 某 个 接口 字段 的 合法 取 值 是 0~10， 产 品 暂时 只 用 了 0~5， 其 他 的 预 留 ， 在 新 上 线 的 版 本 
中 启用 了 6 触发 一 个 新 的 功能 分 支 。 但 是 ， 这 个 产品 是 支持 客户 定制 的 ， 客 户 之 前 就 用 了 这 个 值 来 触发 他 们 自行 定制 的 一 个 功能 
分 支 。 这 样 ， 不 兼容 就 产生 了 。 


这 个 问题 表面 上 是 特性 不 兼容 ， 实 际 是 接口 不 兼容 ， 设 计 的 原因 是 接口 没有 约定 客户 自 定 的 取 值 范围 ， 测 试 的 原因 是 不 知道 
客户 这 么 用 了 。 分 析 的 过 程 如 下 : 


收 到 客户 问题 显示 新 版 本 出 现 特性 不 兼容 。 测 试 经 过 分 析 发 现 ， 启 用 了 新 的 接口 参数 取 值 ， 规 格 中 没有 写 ， 测 试 时 也 没有 针 
对 测试 。 进 一 步 分 析 发 现 ， 测 试 即使 知道 启用 了 新 的 参数 取 值 ， 也 会 认为 没有 问题 ， 因 为 这 个 取 值 本 来 就 是 预 留 的 。 最 后 根 因 落 
在 不 知道 客户 的 用 法 ， 如 果 能 够 抓 到 客户 的 业务 流程 ， 这 个 问题 可 以 避免 。 


想 要 对 问题 有 这 样 深入 的 分 析 ， 通 常 是 需要 一 定时 间 的 ， 如 果 坐 等 问题 推送 到 测试 团队 后 再 做 出 反应 ， 就 不 可 能 有 这 样 的 时 
间 。 所 以 ， 持 续 搜集 和 分 析 客 户 验收 、 应 用 中 发 现 的 问题 是 必须 做 的 日 常 准备 。 在 讨论 测试 的 基础 价值 的 章节 ， 有 数 次 提 到 了 客 
户 问题 的 持续 分 析 ， 这 是 测试 能 力 的 根本 ， 与 测试 设计 和 执行 同等 重要 。 人 在 前 面 的 章节 中 介绍 过 谷歌 的 测试 团队 是 不 做 常规 功能 
测试 的 ， 但 测试 团队 对 产品 的 偏 攻击 性 的 思考 灵感 ， 很 多 时 候 是 来 源 于 干 奇 百 怪 的 问题 。 未 来 会 有 一 些 产 品 的 测试 团队 ， 他 们 的 
主要 职责 是 根据 问题 的 不 同 特征 ， 选 择 合适 的 角色 和 人 群 来 做 测试 ， 以 发 现 缺陷 为 目的 的 功能 测试 已 经 不 是 这 些 测试 团队 的 主 
业 。 


5.1.2 ”拓展 测试 领域 知识 的 广度 


上 一 节 提 到 ， 需 要 对 测试 方法 和 工具 有 广泛 了 解 ， 这 样 在 进行 决策 的 时 候 会 比较 少 出 错 。 


拓展 测试 知识 广度 比较 推荐 的 途径 是 ， 从 “测试 藏 宝 图 ” (software testing at a glance) 或 者 “软件 测试 全 景 图 ” (网 
络 上 可 以 搜索 到 若干 版 本 ， 选 择 日 期 比较 近 的 作为 参考 ) 开始 ， 以 这 个 藏 宝 图 或 全 景 图 为 地 图 ， 形 成 对 测试 技术 的 框架 性 了 解 。 
这 个 地 图 的 信息 量 非常 大 ， 短 期 内 每 个 领域 都 型 透彻 是 不 可 能 的 ， 建 议 先 只 了 解 该 知识 是 什么 ， 能 解决 什么 问题 。 


了 解 当 下 比较 热门 技术 的 途径 ， 欧 美的 例如 STAR 系列 会 议 : STAREAST、STARWEST、EUROSTAR， 微 软 、IBM 等 业界 顶 
尖 公司 组 织 的 技术 大 会 等 。 国 内 的 例如 TiD 质 量 竞争 力 大 会 、CSTQB 高 峰 论 坛 、MSUP 的 TOP100 案 例 ， 阿 里 巴巴 的 测试 嘉年华 
等 。 从 这 些 会 议 的 议题 ， 可 以 看 到 在 测试 工程 领域 目前 比较 关注 什么 问题 ， 什 么 工具 、 技 术 和 观点 比较 热门 。 对 热门 技术 需要 辩 
证 地 看 待 ， 一 方面 这 些 方法 和 思想 对 解决 测试 面临 的 问题 是 非常 有 益 的 ; 另 一 方面 这 些 技 术 还 很 不 成 熟 ， 应 用 的 时 候 需 要 自己 补 
齐 模板 和 工具 。 


此 外 ， 还 有 一 个 非常 重要 的 渠道 是 向 身边 人 学 习 ， 公 司 内 、 团 队 内 的 测试 工程 师 也 可 以 进行 定期 的 分 享 和 交流 。 


5.1.3 ”能 力 建设 需要 有 架构 设计 


一 般 来 说 ， 一 个 成 员 相 对 稳定 的 测试 团队 ， 内 在 的 能 力 不 会 经 常 出 现 大 的 波动 ， 但 是 即使 成 熟 的 测试 团队 ， 也 会 有 失控 的 项 
目 ， 这 常常 是 因为 项 目的 环境 有 比较 大 的 变化 ， 比 如 : 


客户 方面 。 客 户 的 经 营 理 念 和 组 织 结构 做 了 调整 ， 例 如 : 传统 电信 运营 商 短信 、 基 站 、 骨 干 网 络 分 别 采 购 ， 大 家 遵循 协议 和 
设备 规范 ， 运 营 商 负责 最 后 的 集成 。 有 些 运 营 商 转型 后 ， 将 所 有 设备 的 集成 、 认 证 ， 甚 至 网 络 运 营 交 给 厂商 的 研发 团队 ， 自 己 专 
注 客 户 服 务 和 品牌 运营 。 


产品 方面 。 产 品 进行 了 架构 的 重 构 ， 或 者 新 业务 的 商业 逻辑 与 传统 的 不 同 ， 例 如 ， 以 前 的 业务 大 多 是 前 向 收费 ， 这 次 客户 新 
上 的 是 后 向 收费 业务 。 


研发 内 部 。 项 目 承 诺 的 交付 周期 明显 缩短 ， 或 者 项 目 开发 由 瀑布 模式 改 为 迭代 模式 等 。 
因此 ， 测 试 过 程 可 控 面 临 的 真正 挑战 ， 是 建成 的 能 力 如 何 更 好 地 适 配 项 目 环境 的 变化 。 


在 团队 能 力 建设 中 ， 常 常会 倾向 于 重视 固化 、 分 工 ， 因 为 这 样 会 比较 有 利于 成 果 的 应 用 。 但 过 分 强调 按照 固化 的 方法 ， 严 格 
实职 责 分 工 ， 则 会 降低 适应 性 。 因 此 ， 在 开始 进行 一 项 能 力 建设 时 ， 需 要 有 顶层 设计 : 方法 、 流 程 、 人 员 、 平 台 各 自 解 决 什么 
问题 ， 怎 样 配合 才能 使 得 在 具体 的 项 目 中 ， 在 保证 质量 、 成 本 、 效 率 目标 的 前 提 下 ， 让 能 力 发 挥 作 用 。 


测试 团队 能 力 涵盖 的 范围 非常 广 ， 需 要 有 一 个 蓝图 性 质 的 视图 ， 蓝 图 可 以 从 研发 流程 、 测 试 类 型 、 产 品 层次 等 几 个 角度 来 设 
计 。 蓝 图 的 主要 作用 是 在 思考 如 何 解决 问题 的 时 候 ， 帮 助 建立 一 个 全 局 的 视野 ， 避 免 过 于 偏重 某 个 方面 。 我 不 提倡 用 这 个 蓝图 来 
对 能 力 “ 查 缺 补漏 ”“ 补 短 板 ”， 甚 至 评估 、 考 核 。 尤 其 不 以 能 力 具 备 的 比例 作为 考核 目标 。 蓝 图 的 作用 应 该 类 似 于 字典 或 者 工 
具 书 ， 而 不 是 考核 目标 。 


测试 能 力 蓝图 可 以 参见 6.2 节 “支持 基本 价值 实现 的 测试 架构 ”中 的 测试 架构 来 设计 。 


5.2 方法 和 工具 方面 的 能 力 建设 


典型 的 如 : 测试 设计 方法 、 测 试 策略 分 析 的 方法 、 自 动 化 的 方法 和 工具 、 缺 陷 分 析 的 方法 、 环 境 管 理 的 方法 和 工具 等 。 
【作用 】 
方法 和 工具 在 团队 能 力 中 是 解决 “怎么 做 ”的 问题 的 。 理 想 情 况 是 ， 每 一 项 具体 的 工作 都 有 其 对 应 的 做 事 方法 ， 最 好 有 相应 
的 工具 提高 工作 的 效率 。 
5.2.1 ”测试 方法 和 工具 方面 的 能 
测试 使 用 的 方法 和 工具 ， 有 多 重 分 类 维度 。 
“ 按 应 用 阶段 分 为 : 测试 策略 和 计划 、 测 斌 设计、 测试 执行 和 自动 化 、 测 斌 评估、 环境 管理 、 缺 陷 分 析 等 方法 和 工具 。 
: 按 验 证 内 容 分 为 : 功能 、 互 操作 性 、 一 致 性 、 性 能 、 可 靠 性、 安全 性 、 可 服务 性 、 国 际 化 等 测试 方法 和 工具 。 


. 按 测试 方式 分 为 : 脚本 式 、 探 索 式 测试 方法 和 工具 。 


“ 按 测试 的 目的 分 为 : 以 项 目 早期 控制 风险 为 目的 的 静态 测试 ， 以 验证 需求 发 现 缺陷 为 目的 的 常规 动态 测试 ， 以 评估 用 户 真 
实感 知 为 目的 应 用 场景 测试 或 体验 测试 ， 以 保障 重要 客户 正常 运营 为 目的 的 镜像 测试 等 。 


了 解 一 个 测试 团队 的 技术 能 力 ， 可 以 针对 每 个 测试 活动 ， 考 察 使 用 了 哪些 方法 和 工具 ， 使 得 这 项 活动 达到 了 怎样 的 质量 。 技 
术 能 力 公 共 的 部 分 包括 以 下 内 容 : 


1) 风险 和 策略 分 析 。 主 要 版 本 进行 了 测试 策略 分 析 ， 策 略 中 制订 了 研发 各 阶段 的 测试 活动 和 质量 要 求 ， 约 定 了 各 活动 的 分 
工 和 配合 原则 。 策 略 中 分 析 了 版 本 的 特性 和 变更 影响 ， 并 据 此 制订 了 老 特 性 的 覆盖 策略 。 策 略 中 对 重要 的 新 特性 进行 了 风险 分 级 
和 评估 ， 并 据 此 安排 人 员 、 计 划 。 测 试 策略 的 安排 体现 了 “尽早 测试 ”的 原则 (我 们 的 项 目 中 ， 主 要 是 尽早 进行 功能 、 性 能 、 客 
户 化 测试 ) 。 测 试 与 设计 、 开 发 团队 就 风险 和 测试 策略 达成 一 致 ， 开 发 和 测试 的 策略 一 致 。 


2) 测试 设计 。 


a) 功能 测试 设计 。 每 个 特性 都 选择 了 合适 的 测试 对 象 分 析 和 测试 设计 方法 ， 测 试 设计 包含 了 对 特性 的 业务 场景 、 性 能 、 易 
用 性 、 故 障 注入 、 安 全 攻击 等 方面 的 考虑 。 (注意 ， 测 试 对 象 分 析 是 利用 流程 图 、 状 态 图 、 因 果 图 、 逻 辑 表 达 式 、 参 数 定义 表 、 
Usecase 图 等 方法 ， 对 特性 需要 测试 的 内 容 进 行 描述 。 测 试 设 计 是 对 测试 分 析 得 到 的 图 表 进 行 覆盖 ， 得 到 测试 用 例 。 需 要 说 明 的 
是 ， 我 们 的 产品 中 虽然 提出 了 这 样 的 要 求 ， 但 是 绝 大 部 分 产品 目前 还 做 不 到 在 特性 功能 测试 中 ， 进 行 故障 注入 和 安全 攻击 测试 ， 
因为 这 些 测试 内 容 的 专业 性 太 强 ， 现 在 还 只 有 少 部 分 人 掌握 。) 


b) 客户 应 用 场景 测试 设计 (参见 8.1.2 节 “ 端 到 端 应 用 场景 测试 ”) 。 场 景 测试 设计 帮 盖 了 全 部 功能 需求 ， 覆 盖 了 所 有 用 户 
角色 并 包含 了 各 角色 的 常规 和 非常 规 使 用 行为 ， 履 盖 了 运营 行为 和 管理 行为 。 场 景 测试 设计 人 员 和 用 例 与 需求 工程 师 、 市 场 代表 
确认 并 达成 一 致 。 (注意 ， 运 营 场 景 包括 : 升级 、 促 销 、 节 假日 高 峰 期 服务 质量 保障 、 日 常 巡 检 等 。 管 理 场 景 包 括 : 人 员 考 核 、 
业务 效率 和 质量 分 析 等 。) 

c) 性 能 测试 设计 。 性 能 测试 设计 履 盖 了 指标 和 稳定 性 。 主 要 业务 流程 、 业 务 质量 标准 都 有 对 应 的 性 能 指标 用 例 。 性 能 稳定 
性 考虑 了 常规 、 非 业务 流程 的 混合 ， 履 盖 了 常见 的 压力 模型 (包括 : 长 时 间 平 稳 、 线 性 增 大 、 拌 动 、 浪 涌 等 模型 ) 。 

d) 可 靠 性 测试 设计 。 

. 可 靠 性 特性 的 功能 测试 ， 例 如 容 灾 、 宕 机 自动 检测 和 恢复 等 。 

故障 注入 测试 。 故 障 注 入 基于 FMEA 分 析 ， 夫 盖 了 网 上 问题 分 析 发 现 的 故障 模式 ; 履 盖 了 压力 场景 ;) 窗 盖 了 主动 停机 、 输 
入 故障 、 系 统 内 部 软 、 硬 件 故 障 。 (注意 ， 压 力 场景 例如 超 性 能 负荷 1 倍 、5 倍 、10 倍 等 ， 性 能 压力 处 于 脉冲 、 浪 涌 状 态 等 。 输 入 
故障 例如 外 部 系统 输入 错误 的 信息 、DOS 攻 击 等 。) 


:可靠 性 指标 的 测试 ， 例 如 故障 恢复 率 、 故 障 恢 复 时 长 、 过 负荷 倍数 等 。 


e) 安全 性 测试 设计 。 安 全 性 测试 设计 进行 了 脆弱 点 、 敏 感 数据 、 安 全 威胁 模型 分 析 。 履 盖 了 网 上 问题 分 析 发 现 的 漏洞 模 
式 ， 履 盖 了 组 网 、 接 口 、OS、DB、 应 用 软件 的 安全 漏洞 。 


f) 可 服务 性 测试 设计 。 可 服务 性 测试 设计 覆盖 了 新 装 、 升 级 、 日 常 检查 、 故 障 处 理 场景 ， 覆 盖 了 可 服务 性 相关 文档 、 帮 
助 、 工 具 、 特 性 。 故 障 处 理 覆 盖 了 告警 、 故 障 排除 、 恢 复 后 检测 的 完整 场景 。 


g) 自动 化 测试 方案 设计 。 根 据 产 品 、 项 目 、 客 户 的 特点 ， 确 定 了 自动 化 测试 的 范围 、 优 先 级 。 完 成 工具 的 选择 和 二 次 开 
发 ， 自 动 化 工具 能 够 满足 测试 范围 、 交 付 效率 的 要 求 ， 并 且 架 构 稳定 。 有 自动 化 用 例 编写 规范 ， 规 范 已 经 落实 到 日 常 测试 ， 团 队 
成 员 分 别 完 成 的 自动 化 用 例 能 够 不 加 修改 地 整合 成 用 例 集 ， 一 次 性 批量 执行 通过 。 

3) 测试 执行 。 


a) 自动 化 测试 。 能 够 在 测试 完成 后 、 测 试 中 、 测 试 前 完成 自动 化 用 例 的 编写 和 调试 ， 且 效率 满足 版 本 研发 进度 的 要 求 。 实 
现 了 功能 、 业 务 场 景 、 应 用 场景 、 性 能 、 可 靠 性 、 安 全 性 的 自动 化 测试 。 自 动 化 用 例 在 版 本 间 继 承 并 持续 更 新 。 (我 们 的 测试 团 


队 中 ，DFX 的 自动 化 测试 实践 主要 集中 在 性 能 测试 上 ， 此 外 ， 比 较 普遍 的 还 有 安全 性 漏洞 的 自动 化 扫描 。 个 别 产 品 中 针对 可 靠 性 
特性 的 功能 部 分 实现 了 自动 化 ， 也 有 团队 在 研究 故障 注入 的 自动 化 测试 。) 


b) 数据 准备 、 采 集 、 分 析 。 具 备 测试 数据 的 自动 生成 和 数据 合法 性 检查 工具 ， 具 备 功能 、 性 能 、 可 靠 性 、 可 服务 性 测试 过 
程 数 据 的 采集 工具 。 具 备 数据 分 析 辅 助 工具 ， 能 够 根据 采集 的 数据 绘制 图 表 、 自 动 标识 异常 数据 。 


Cc) 环境 安装 。 利 用 工具 实现 测试 环境 的 全 部 准备 工作 ， 包 括 安装 、 配 置 、 检 测 、 业 务 调试 、 备 份 、 恢 复 。 环 境 准 备 效率 
高 ,或 者 能 够 一 键 式 自动 化 完成 。 


d) 仿真 测试 (参见 7.2.2 节 “客户 视角 的 产品 质量 评估 ”) 。 能 够 仿真 产品 实际 使 用 的 环境 特征 ， 如 终端 ”操作 系统 、 浏 览 
器 、 第 三 方 设备 ( 指 和 产品 有 连接 的 、 非 本 产品 的 设备 ) 、 网 络 质量 、 背 景 流量 等 。 能 够 仿真 产品 使 用 时 的 用 户 特 征 ， 如 操作 习 
惯 、 知 识 背景 等 。 在 客户 应 用 场景 测试 、 性 能 测试 中 使 用 到 这 些 仿真 手段 。 


e) 问题 检测 和 定位 。 利 用 工具 辅助 问题 的 定 界 和 定位 ， 工 具 整合 了 日 志 、 告 警 、 检 测 ， 和 其 他 记录 的 信息 ， 并 具有 辅助 分 
析 功 能 。 工 具 能 够 用 于 功能 、 性 能 和 可 靠 性 问题 的 定位 ， 也 能 够 用 于 在 线 问题 的 定位 。 工 具 能 够 对 系统 、 数 据 库 、 业 务 进行 后 台 
的 、 自 动 的 故障 检测 。 ( 定 界 是 确定 问题 所 处 的 子 系统 、 模 块 、 特 性 ;定位 是 到 具体 的 类 、 代 码 。 通 常 对 于 可 靠 性 、 性 能 等 的 问 
题 测试 工程 师 只 做 到 定 界 ， 对 于 功能 问题 需要 做 到 定位 。) 


4) 测试 评 佑 。 


a) 版 本 质量 评估 。 有 研发 、 服 务 代表 、 市 场 代表 关心 的 、 明 确 的 测试 结论 ， 结 论 至 少 包 含 版 本 使 用 范围 的 建议 、 质 量 目标 
(包括 功能 和 DFX 质 量 目标 ， 参 见 4.1.2 节 “测试 结果 数据 的 内 容 ”) 的 达成 情况 、 风 险 评估 结论 、 尚 存 的 质量 风险 及 其 规避 措 
施 。 测 试 结论 基于 过 程 、 效 率 、 履 盖 、 缺 陷 、 风 险 等 信息 给 出 。 


b) 过 程 数据 分 析 。 对 每 个 迭代 或 测试 轮 次 的 缺陷 、 遗 漏 缺 陷 〈 指 那些 在 针对 性 的 测试 活动 中 没有 发 现 ， 在 后 面 的 其 他 测试 
中 发 现 的 缺陷 ) 、 用 例 执 行 过 程 数 据 进 行 分 析 。 缺 陷 主 要 分 析 趋 势 、 密 度 、 分 布 等 。 对 过 程 数 据 的 分 析 内 容 和 版 本 、 特 性 、DFX 
的 质量 和 风险 结论 相互 印证 。 对 严重 以 上 的 遗漏 缺陷 ， 能 够 追溯 到 测试 设计 、 执 行 的 原因 和 改进 措施 。 


5) 探索 式 测 试 。 

a) 活动 定义 。 确 定 了 产品 测试 中 如 何 开展 探索 式 测 试 。 

有 明确 的 探索 式 测试 开展 的 阶段 。 例 如 ， 测 试 执 行 活动 的 前 期 、 中 期 、 后 期 ， 回 归 测 试 ， 产 品 发 布 前 等 。 
` 范围 ， 指 哪些 测试 内 容 引 入 探索 式 测试 。 例 如 ， 缺 陷 回归 测试 、 可 靠 性 故障 注入 测试 等 。 

- 启动 条 件 。 例 如 ， 功 能 验证 已 完成 ， 基 本 功能 无 阻塞 性 问题 等 。 

. 结束 标准 。 例 如 ， 时 间 满 2h、 发 现 缺 陷 次 级 降低 到 10， 探 索 点 履 盖 完 等 。 

b) 活动 管理 。 探 索 测 试 活动 基于 session 管 理 ， 每 个 测试 活动 都 满足 以 下 要 求 。 

有 明确 的 目的 ， 例如， 发 现 风险 、 验 证 应 用 场景 、 缺 陷 大 扫除 、 可 靠 性 和 安全 性 攻击 等 。 


* 有 优选 的 探索 方法 或 启发 式 ， 启 发 式 是 指 一 个 事先 的 分 析 ， 包 含 初步 探索 点 的 脑 图 。 


: 有 确定 的 时 间 ， 一 般 是 2h 以 内 。 


有 良好 的 过 程 记录 ， 包 括 ， 完 成 的 探索 点 、 缺 陷 、 测 试 过 程 中 出 现 的 特殊 现象 等 都 有 记录 。 这 些 记录 是 事后 分 析 是 否 存在 


风险 、 需 要 进行 进一步 测试 、 或 者 给 出 测试 对 象 的 质量 结论 的 依据 。 


6) 持续 集成 (CD) 。 能 够 自动 化 完成 环境 安装 、 配 置 、 检 测 、 自 动 化 用 例 测试 、 错 误 现场 记录 、 报 告 生成 。 自 动 化 用 例 执 
行 过 程 无 需 人 工 干 预 ， 并 且 在 8h 内 完成 。CI 的 用 例 覆 盖 主 要 特性 ， 覆 盖 功 能 、 性 能 测试 的 自动 化 用 例 。 自 动 化 用 例 及 时 纳入 
CI1， 对 和 友 代 开发 的 版 本 ， 每 个 新 特性 开发 完成 后 相应 的 测试 用 例 即 实现 自动 化 并 纳入 CI 每 日 构建 。 


7) 环境 管理 。 功 能 、 性 能 、 可 靠 性 以 及 其 他 DFX、 镜 像 测试 环境 统一 管理 ， 申 请 和 释放 便捷 ， 环 境 有 较 高 的 利用 率 。 


8) 发 布 后 缺陷 的 修改 和 分 析 。 版 本 发 布 后 发 现 的 缺陷 ， 保 留 了 角色 、 应 用 场景 、 操 作 数据 信息 ， 可 以 追踪 到 引入 缺陷 的 版 
本 、 代 码 和 相关 特性 的 测试 用 例 ， 修 改 缺 陷 的 版 本 、 代 码 和 验证 用 例 。 对 于 多 分 支 版 本 并 存 的 产品 ， 有 机 制 确保 在 所 有 版 本 中 缺 
陷 被 同步 修改 。 对 严重 以 上 的 、 由 客户 发 现 的 缺陷 进行 了 RCA 分 析 ， 得 到 的 改进 措施 能 够 使 得 类 似 缺 陷 不 再 产生 或 遗漏 ， 且 措施 
已 经 落实 。 


9) 测试 用 例 基线 。 对 测试 用 例 基线 的 要 求 参见 3.1 节 “用 户 无 法 正常 使 用 ”中 关于 测试 用 例 基线 的 介绍 。 


10) 测试 数据 管理 。 数 据 内 容 参 见 4.3 节 “测试 过 程 数 据 ”。 有 工具 实现 测试 过 程 数 据 的 管理 ， 工 具 管 理 了 全 部 的 信息 ， 并 
可 以 根据 版 本 、 客 户 、 业 务 等 条 件 方便 地 查询 ， 并 进行 历史 数据 演变 过 程 分 析 。 


11) 客户 应 用 场景 信息 管理 。 信 息 覆 盖 了 业务 应 用 、 运 营 和 维护 的 角色 ， 及 各 角色 对 应 的 应 用 场景 、 验 收 用 例 ， 包 含 组 网 
环境 、 业 务 配 置 等 信息 。 信 息 有 客户 、 角 色 、 特 性 的 对 应 关系 ， 能 够 根据 这 些 信息 快速 筛选。 信息 被 用 于 需求 澄清 、 测 试 设 计 、 
执行 、 评 估 等 活动 。 (参见 7.2.2 节 “客户 视角 的 产品 质量 评估 ”) 


12) 上 下 游 协 作 : 


a) 需求 分 析 。 测 试 团队 中 有 固定 的 角色 参与 到 产品 需求 分 析 活 动 中 ， 在 需求 分 析 中 对 需求 产生 的 背景 、 应 用 场景 、 接 口 、 
优先 级 、 风 险 进 行 了 澄清 ， 确 保 性 能 、 可 靠 性 、 安 全 性 等 相关 的 要 求 明 确 、 可 衡量 、 可 验证 (可 验证 要 求 测试 时 的 应 用 场景 、 需 
采集 数据 和 结果 衡量 标准 都 是 明确 的 ) 。 在 需求 分 析 阶 段 输出 了 测试 方法 和 测试 工具 需求 ， 并 在 测试 执行 前 实现 。 需 求 和 风险 的 
变更 ， 测 试 能 够 及 时 获知 。 


b) 开发 者 测试 。 向 开发 者 提供 测试 设计 方法 ， 使 这 个 阶段 的 测试 用 例 质量 满足 相应 的 覆盖 要 求 ， 且 用 例 规模 合理 。 向 开发 
者 提供 测试 工具 ， 使 用 例 能 够 正确 测试 ， 且 效率 满足 进度 的 要 求 。 利 用 未 覆盖 代码 分 析 ， 促 进 开发 者 测试 的 质量 和 效率 提升 。 


Cc) 特性 划分 。 从 产品 到 部 件 均 按 特性 进行 研发 ， 产 品 和 部 件 的 特性 建立 了 对 应 关系 。 测 试 参 与 到 特性 划分 的 评审 中 ， 对 特 
性 的 功能 、 性 能 和 其 他 DFX 验 证 的 启动 时 机 进行 澄清 。 将 测试 方法 和 特性 接口 进行 适 配 ， 促 使 每 个 迭代 有 可 验证 特性 。 (测试 工 
呈 师 不 能 死守 着 黑 盒 测试 的 原则 ， 只 从 产品 外 部 接口 进行 测试 ， 一 味 要 求 进 代 开 发 的 特性 有 完整 的 外 在 功能 ， 这 在 大 型 产品 中 通 
常 是 不 现实 的 。 有 些 时 候 ， 测 试 和 迭代 开发 中 的 特性 ， 需 要 从 产品 内 部 接口 进行 驱动 ， 这 需要 测试 和 开发 双方 寻求 一 个 工作 量 的 平 
衡 点 ， 使 得 迭代 可 验证 成 为 可 能 。 


13) 持续 改进 。 通 过 对 项 目 过程 数 据 (如 缺陷 、 效 率 、 履 盖 等 ) 综合 分 析 能 够 发 现 设计 、 开 发 和 测试 过 程 的 问题 ， 并 给 出 
对 本 项 目 研发 活动 的 改进 建议 ， 以 及 对 测试 能 力 各 方面 (方法 和 工具 、 流 程 、 组 织 、 平 台 ) 的 改进 措施 。 通 过 对 发 布 后 缺陷 的 统 
计 分 析 ， 发 现 高 风险 的 客户 类 别 、 用 户 角 色 类 别 、 组 网 形式 、 场 景 、 模 块 、 特 性 、 质 量 属 性 等 ， 并 给 出 针对 性 的 能 力 改 进 措施 。 


以 上 介绍 的 测试 方法 和 工具 方面 技术 能 力 ， 是 按 测试 活动 分 类 组 织 的 ， 如 图 5-2 所 示 。 


功能 和 DFX、 应 用 场景 、 镜 像 测 试 的 测试 设计 、 执 行 和 自动 化 
测试 策略 和 计划 测试 评 佑 
缺陷 分 析 


探索 式 测试 


测试 环境 管理 


需求 、 设 计 、 代 码 静 态 测试 


开发 者 测试 


图 5-2 ”测试 方法 和 工具 蓝图 


这 些 并 非 测试 方法 和 工具 能 力 的 全 部 ， 只 是 相对 共性 、 通 用 的 部 分 。 每 个 团队 都 还 有 自己 比较 特别 的 能 力 ， 通 常 这 些 能 力 是 
为 了 适应 产品 特点 、 交 付 形 式 、 客 户 习 惯 发 展 出 来 的 ， 同 时 也 是 对 产品 质量 最 重要 的 测试 能 力 ， 例 如 : 


模拟 运营 。 有 些 团队 能 够 快速 复制 最 重要 的 5 个 大 客户 的 环境 ， 这 些 客户 在 进行 重要 内 容 或 业务 上 线 之 前 ,会 到 研发 的 实验 
室 进 行 模拟 演练 。 


产品 软 调 。 项 目 型 产品 ， 在 接口 调研 的 时 候 用 接口 调 测 工具 进行 接口 实例 的 录制 ， 在 需求 调研 的 时 候 用 模拟 业务 开发 工具 快 
速 开 发 业务 原型 ， 在 业务 原型 上 对 需求 进行 交互 式 的 讨论 和 确认 。 


精准 测试 。 成 熟 产 品 出 补丁 多 的 ， 建 立 了 代码 和 用 例 的 对 应 关系 ， 根 据 修改 代码 找 出 受 影响 的 测试 用 例 ， 从 而 实现 精准 测 
试 。 
因此 , 干 万 不 要 直接 把 上 面 的 清单 作为 测试 方法 和 工具 能 力 的 蓝本 或 地 图 。 


我 参与 过 的 产品 ， 绝 大 部 分 都 满足 80% 以 上 的 方法 和 工具 要 求 ， 但 工具 多 数 是 根据 当时 的 需要 ， 各 自 独立 开发 的 。 只 有 自动 
化 、CI、 测 试用 例 基 线 的 相关 工具 是 统一 开发 使 用 的 。 


测试 团队 需要 根据 产品 的 特点 选择 优先 发 展 的 技术 能 力 。 例 如 项 目 型 的 产品 ， 研 发 完成 后 ， 产 品 完全 交 给 客户 自行 使 用 和 运 
， 一 个 项 目 和 另 一 个 项 目 有 同样 的 特性 ， 也 有 大 量 不 同 的 特性 。 这 种 项 目 ， 除 了 基础 的 测试 内 容 外 ， 还 需要 专门 进行 验收 用 例 
的 测试 ， 客 户 资料 的 测试 。 如 果 产 品 有 较 好 的 架构 设计 ， 能 用 一 个 基础 版 本 满足 绝 大 部 分 客户 的 需求 ， 那 么 就 还 需要 验证 针对 具 
体 客 户 的 配置 方案 、 兼 容 性 等 。 图 5-3 所 示 是 根据 产品 特点 选择 测试 类 型 的 参考 。 


虽 


可 接受 性 、 验 收 
资料 、 帮 助 、CRT 


- 功能 
可 伸缩 性 、 配 置 H 交付 
兼容 性 
可 靠 性 


本 地 化 、 国 际 化 


一 | 性 能 
故障 注入 和 故障 管理 至 向 上 估量 


告警 有 效 性 、 故 障 定位 压力 
流量 模拟 和 流 控 安全 性 


备份 /恢复 测试 类 型 回归 


可 服务 性 (易于 维护 、 检 测 ) 
alpha 、beta 
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可 获得 _ 省 互 操作 (IOT) 


UI 易学 习 


"NT 屋 . 
E2E 场 景 


安装 /卸载 /升级 
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输入 方式 兼容 中移动 应 用 


能 耗 、 流 量 消耗 
网 络 质量 模拟 
打 断 、 恢 复 (由 于 通信 状态 、 网 络 切换 或 人 为 操作 ) 


图 5-3 ”测试 类 型 选择 


我 们 的 产品 测试 ， 总 的 说 来 还 是 以 脚本 式 (剧本 式 ) 测试 为 主 ， 探 索 式 测试 只 在 缺陷 验证 、 可 靠 性 测试 、 功 能 补充 测试 中 用 
的 比较 多 一 些 ， 因 此 更 多 地 强调 测试 工程 方面 的 方法 和 工具 。 对 于 以 探索 式 测 试 为 主 的 团队 ， 方 法 和 工具 要 求 有 很 大 不 同 ， 除 了 
关注 探索 任务 的 划分 、 探 索 方法 的 掌握 ， 比 较 重 要 的 还 有 缺陷 上 下 文 的 自动 采集 、 录 制 探索 用 例 并 转换 为 自动 化 脚本 等 。 


5.2.2 ”能 力 建设 首先 考虑 实用 性 


方法 和 工具 的 能 力 建 设 ， 最 好 不 要 采取 “ 撒 明 椒 面 ”的 思路 ， 要 有 重点 。 很 多 时 候 测 试 经 理 们 会 觉得 大 部 分 的 方法 和 工具 在 
自己 的 项 目 中 都 是 用 得 上 的 ， 这 个 时 候 需 要 意识 到 ， 无 论 哪个 方法 和 工具 的 应 用 ， 没 有 一 年 半 载 根本 无 法 落地 生根 ， 成 为 团队 真 
正 用 得 好 的 能 力 。 从 我 的 经 验 看 ,一 个 二 三 十 人 的 团队 ， 同 时 进行 3 项 能 力 建设 已 经 是 非常 理想 的 情况 了 。 重 点 的 选择 ， 需 要 考 
虑 团队 当下 的 主要 职责 和 价值 ， 对 应 技术 的 成 熟 度 ， 以 及 团队 能 够 把 这 项 能 力 做 到 什么 程度 。 首 先 做 那些 有 需要 、 有 方法 、 能 做 
好 的 方向 。 


方法 和 工具 的 能 力 建设 ， 要 设 定 成 果 的 形式 。 我 的 团队 是 一 个 专业 的 测试 技术 团队 ， 参 与 或 主导 过 绝 大 部 分 的 方法 和 工具 能 
力 建设 ， 成 果 的 形式 大 概 有 指导 书 、 模 板 、 检 查 表 、 培 训 教 材 、 辅 助 工 具 、 自 动 化 工具 等 。 在 测试 团队 组 建 的 初期 ， 能 力 建 设 还 
刚刚 起 步 ， 主 要 是 基础 知识 的 积累 ， 这 时 指导 书 、 模 板 、 检 查 表 、 培 训 教 材 形式 的 成 果 是 可 以 的 ， 这 种 形式 的 能 力 建 设 周 期 比较 
短 ， 一 般 的 测试 工程 师 也 比较 容易 通过 学 习 和 应 用 将 这 些 知 识 转化 为 能 力 。 


对 于 成 熟 的 团队 ， 那 些 无 法 落实 到 工具 的 能 力 ， 则 需要 谨慎 对 待 。 成 熟 团队 通常 都 已 经 有 了 既定 的 流程 和 方法 ， 新 能 力 的 引入 
需要 在 既 有 的 流程 中 ， 改 变 原 有 的 做 事 方法 ， 大 多 需要 多 个 研发 环节 有 配套 的 调整 ， 牵 涉 的 人 比较 多 。 要 所 有 相关 的 人 都 重新 学 
习 ， 除 非 问 题 致命 、 有 管理 层 的 推动 ， 否 则 很 难 落实 。 如 果 有 工具 可 以 降低 学 习 成 本 ， 简 化 应 用 步骤 ， 则 推动 起 来 难度 就 会 小 很 
多 。 如 果 做 到 了 无 需 人 工 干预 的 自动 化 形式 ， 把 对 应 的 这 一 类 问题 解决 得 很 彻底 ， 则 会 得 到 其 他 团队 和 管理 层 的 支持 ， 哪 怕 这 个 


问题 并 非 当前 第 一 重要 的 问题 。 
【案例 】 某 产品 的 性 能 测试 技术 项 目 。 


产品 有 一 个 专职 的 性 能 测试 小 组 ， 之 前 的 主要 职责 是 负责 新 版 本 的 性 能 测试 ， 现 在 产品 的 可 靠 性 问题 突出 ， 可 靠 性 的 设计 将 
由 专业 团队 负责 ， 相 应 的 可 靠 性 测试 也 需要 从 功能 测试 中 独立 出 来 ， 需 要 性 能 测试 小 组 转型 成 为 DFX 测 试 小 组 ， 增 加 可 靠 性 测试 
的 工作 量 投入 ， 但 团队 规模 维持 不 变 。 工 作 量 分 析 后 发 现 ， 除 了 新 版 本 的 性 能 测试 ， 小 组 还 有 超过 1/3 的 时 间 是 在 验证 补丁 版 本 
的 性 能 ， 为 处 于 开发 阶段 的 版 本 验证 性 能 影响 ， 这 部 分 验证 的 环境 搭建 、 数 据 准备 、 用 例 执行 、 数 据 分 析 并 不 需要 很 高 的 性 能 测 
试 相关 技能 ， 但 是 每 次 测试 却 很 耗费 时 间 。 


性 能 测试 小 组 决定 启动 一 个 技术 项 目 : 将 性 能 测试 标准 化 。 项 目的 目标 是 : 在 完成 新 版 本 的 性 能 测试 后 ， 形 成 标准 化 性 能 测 
试 包 ， 开 发 工程 师 、 负 责 功能 的 测试 工程 师 可 以 随时 申请 环境 ， 自 行 完成 性 能 测试 用 例 的 选择 、 执 行 和 结果 分 析 。 标 准 化 以 后 ， 
那些 临时 的 性 能 验证 工作 就 可 以 由 有 验证 需求 的 工程 师 自 行 完成 ， 不 需要 再 作为 验证 需求 提交 给 性 能 测试 小 组 ， 这 样 不 仅 为 性 能 
测试 小 组 减负 ， 还 能 缩短 性 能 验证 需求 的 响应 时 间 。 


性 能 测试 小 组 用 了 差不多 半年 的 时 间 ， 完 成 了 技术 建设 和 成 果 的 落地 。 成 果 形式 包括 : 
* 培训 资料 和 指导 书 一 一 性 能 测试 基本 知识 和 性 能 测试 包 使 用 方法 ， 用 于 性 能 测试 小 组 对 研发 其 他 工程 师 的 培训 。 


- 性 能 用 例 规范 一 一 性 能 测试 包 所 必须 包含 的 内 容 和 性 能 测试 脚本 规范 ， 用 于 规范 性 能 测试 小 组 内 部 提交 的 用 例 ， 确 保 任 何 
人 都 可 以 顺利 执行 用 例 。 


:工具 包 一 一 集成 了 环境 申请 和 自动 化 环境 搭建 、 预 置 数据 自动 化 准备 、 测 试用 例 挑选 和 自动 化 执行 、 测 试 结果 自动 化 分 析 
并 生成 图 表 、 在 线 求助 渠道 等 功能 ， 用 于 降低 简单 性 能 验证 工作 的 技能 门楼 。 


项 目 完 成 后 ， 补 本 版 本 的 性 能 测试 、 开 发 版 本 的 临时 性 能 验证 几乎 无 需 性 能 测试 工程 师 参 与 ， 取 得 了 预期 的 效果 。 后 来 性 能 
测试 小 组 还 在 此 基础 上 ， 将 性 能 测试 用 例 纳入 Cl， 实 现 无 需 人 工 干预 的 、 基 本 业务 的 自动 化 性 能 验证 ， 进 一 步 简化 了 性 能 测试 包 
的 使 用 。 在 这 个 技术 项 目 中 归 整 了 原本 零散 的 环境 搭建 、 预 置 数据 准备 、 测 试 过 程 数 据 采集 工具 ， 这 也 提升 了 新 特性 性 能 测试 的 


在 这 个 案例 中 ， 性 能 测试 效率 、 性 能 测试 小 组 负载 ， 并 不 是 影响 产品 质量 和 效率 的 最 重要 短 板 ， 但 是 这 个 项 目 满足 了 几 个 条 
件 : 


: 有 必要 。 想 要 让 可 靠 性 改进 的 工作 落 到 实处 ， 最 终 提升 产品 可 靠 性 ， 减 少 性 能 回归 测试 (此 处 回归 测试 指使 用 老 用 例 进行 
重复 验证 ) 的 工作 量 是 必须 解决 的 问题 。 解 决 这 个 问题 有 两 个 方法 : 提升 效率 ， 或 是 转移 工作 量 。 现 在 性 能 回归 测试 所 需 时 间 是 
4h， 因 此， 提升 效率 能 够 节省 的 工作 量 非常 有 限 ， 无 法 满足 可 靠 性 测试 的 需要 。 转 移 工 作 量 ， 就 必须 简化 这 个 工作 ， 而 性 能 测试 
小 组 目前 已 经 有 能 力 将 这 个 工作 简化 到 只 需要 点 几 个 按钮 、 做 几 个 选择 。 因 此 ， 和 转移 工作 量 就 成 了 最 优 的 选择 。 


" 有 可 预见 的 质量 、 效 率 方面 的 价值 。 虽 然 初衷 是 为 性 能 测试 小 组 减负 ， 但 是 ， 这 样 做 对 于 效率 同样 有 帮助 。 改 进 之 前 ， 无 
论 是 正式 版 本 ， 还 是 补丁 版 本 ， 开 发 阶段 的 临时 验证 ， 都 需要 提前 至 少 一 天 提出 需求 ， 需 求 还 要 在 性 能 测试 小 组 的 工作 列表 中 排 
序 。 改 进 之 后 ， 对 于 不 增加 新 用 例 的 性 能 测试 ， 任 何 研 发 工程 师 都 可 以 随时 申请 环境 开展 测试 ，2h 之 内 就 能 获得 结果 。 这 对 性 能 
测试 小 组 虽然 是 “附带 ”的 效果 ， 但 是 对 于 研发 团队 却 是 “有 价值 ”的 效率 和 应 用 目标 。 


: 有 方法 、 有 能 力 。 性 能 测试 小 组 在 过 往 的 管理 、 效 率 、 质 量 的 各 项 改进 中 ， 已 经 积累 了 比较 完整 的 培训 资料 、 用 例 规范 、 
不 同 版 本 的 操作 流程 和 各 种 工具 ， 在 项 目 启 动 之 前 ， 补 丁 版 本 的 性 能 回归 测试 只 需要 一 个 下 午 就 可 以 给 出 结论 ， 因 此 ， 有 足够 的 
技术 储备 和 能 力 储 备 支持 他 们 再 继续 跨 出 一 步 ， 做 到 “ 稍 加 训练 的 工程 师 就 可 以 无 障碍 地 完成 性 能 回归 测试 ”。 


.成果 能 够 持续 应 用 。 项 目的 成 果 用 于 性 能 的 回归 测试 ， 目 标 是 让 “ 稍 加 训练 的 工程 师 ” 就 可 以 无 障碍 地 进行 性 能 回归 测 
试 。 项 目 完 成 后 ， 用 例 的 生产 者 、 使 用 者 都 是 明确 的 ， 使 用 场景 是 确实 存在 的 、 常 见 的 ， 因 此 ， 可 以 形成 一 个 用 例 持 续 更 新 和 应 
用 的 循环 。 成 果 应 用 不 需要 附加 太 多 管理 手段 、 技 能 培训 、 工 作 规 范 ， 因 此 也 不 会 受到 研发 团队 成 员 变 更 的 影响 。 这 样 ， 在 项 目 
启动 之 初 ， 就 基本 可 以 确信 ， 项 目的 成 果 最 后 不 会 被 束之高阁 。 


因此 ， 即 使 这 不 是 最 紧急 重要 的 问题 ， 仍 可 获得 开发 团队 的 投资 ， 例 如 : 开发 测试 合作 完成 数据 生成 的 工具 开发 ; 产品 的 安 
装 脚本 ， 由 原来 的 产品 发 布 前 提供 变 为 产品 转 测试 前 提供 等 。 


成 功 地 进行 一 项 测试 能 力 建设 ， 需 要 “天 时 、 地 利 、 人 和 ”的 条 件 ， 这 个 案例 所 具备 的 条 件 如 图 5-4 所 示 。 


有 必要 
有 价值 外 在 条 件 


有 方法 、 有 能 内 在 条 件 


成 采 能 持续 应 用 


图 5-4 技术 项 目 方向 和 目标 的 确定 


“有 必要 ”说 明 当前 面临 的 业务 问题 需要 这 项 测试 能 力 ， 解 决 问题 的 时 机 到 了 。 “有 价值 ”说 明 这 项 能 力 带 来 的 好 处 对 研发 
是 明确 的 ， 因 而 能 够 获得 来 自 研发 团队 的 支持 。 这 些 是 外 在 条 件 。 


“有 方法 、 有 能 力 ”说 明 能 力 建设 可 以 在 时 间 窗 内 完成 ， 不 会 因为 增加 的 任务 造成 内 部 混乱 。 “成果 能 持续 应 用 ”说 明 测 试 
团队 内 部 在 技术 方案 选择 上 不 会 有 大 的 分 上 层 ， 能 够 聚焦 到 方案 的 实施 上 。 这 些 是 内 在 条 件 。 


需要 说 明 的 是 ,项 目 目标 是 所 有 一 切 的 关键 ,项 目 目标 决定 了 团队 是 否 能 够 取得 天 时 、 地 利 、 人 和 的 条 件 。 设 想 一 下 ， 如 果 
目标 是 : 性 能 测试 小 组 提高 效率 ， 使 补丁 版 本 性 能 回归 测试 在 2h 之 内 完成 ， 用 效率 提升 节省 下 来 的 工作 量 承接 可 靠 性 测试 工 
作 。 天 时 、 地 利 、 人 和 的 条 件 就 会 减弱 很 多 ， 变 成 如 下 情况 : 


` 天 时 (时 机 正确 ， 能 解决 产品 研发 当前 面临 的 突出 问题 ) 一 一 补丁 版 本 随时 提出 性 能 回归 测试 需求 ， 都 可 以 在 2h 内 获得 结 
论 ， 这 对 研发 而 言 能 够 解决 现实 的 问题 ， 因 此 效率 方面 有 一 定 的 天 时 条 件 。 但 是 补丁 版 本 发 布 周期 是 产品 研发 的 次 要 问题 ， 由 于 
效率 提升 节省 的 工作 量 很 有 限 ， 投 入 到 可 靠 性 测试 中 的 工作 量 也 就 极其 有 限 ， 因 此 “可 靠 性 测试 需要 加 强 ” 的 主要 问题 还 没有 得 


到 充分 的 落实 。 


` 地 利 ( 获 得 团队 以 外 的 干系 人 的 支持 ) 一 一 这 个 项 目的 干系 人 主要 是 补丁 版 本 研发 经 理 和 可 靠 性 设计 工程 师 ， 这 个 目标 完 
全 从 测试 自身 找 方 法 ， 根 本 没有 对 干系 人 提出 任何 支持 的 需求 ， 没 有 让 干系 人 在 项 目 实施 的 过 程 中 承担 什么 职责 ， 因 而 也 谈 不 上 
获得 干 系 人 在 技术 、 人 力 AN 资金 上 的 支持 。 


:人 和 (获得 团队 内 的 干系 人 ， 即 项 目 执行 者 的 支持 ) 一 一 目标 达成 之 后 ， 补 丁 版 本 的 性 能 回归 测试 变 成 个 一 个 机 械 化 的 重 
复工 作 ， 仍 然 会 不 时 打 断 性 能 测试 工程 师 正 在 进行 的 新 版 本 的 测试 工作 ， 而 且 更 煤 糕 的 是 ， 以 前 可 以 稍 作 延迟 ， 现 在 还 必须 立即 


响应 。 因 此 ， 这 个 目标 对 性 能 测试 工程 师 也 没有 太 大 吸引 力 。 


此 外 ， 成 果 形式 也 取决 于 项 目 目标 ， 如 果 项 目 目 标 是 提升 性 能 测试 小 组 的 效率 ， 成 果 就 只 会 包含 环境 搭建 、 预 置 数据 准备 、 
测试 结果 分 析 的 辅助 工具 ， 而 不 会 做 到 自动 化 的 程度 ， 因 为 性 能 测试 小 组 的 主要 工作 是 新 特性 的 性 能 测试 ， 而 新 特性 性 能 测试 会 
遇 到 很 多 意外 的 需要 手工 处 理 的 情况 ， 做 一 个 自动 化 工具 不 是 很 经 济 的 做 法 。 


总 之 ， 让 测试 的 技术 建设 匹配 产品 研发 在 整体 上 面临 着 问题 ， 着 眼 于 研发 ， 而 不 是 测试 一 个 环节 ， 这 样 能 够 让 测试 获得 更 宽 
阔 的 视野 ， 获 得 更 好 的 发 展 。 


在 以 上 “性 能 测试 标准 化 ”的 案例 中 ， 测 试 成 功 地 得 到 了 研发 的 “投资 ”， 开 发 团队 为 了 项 目 目标 对 工作 做 出 了 调整 。 
我 们 的 产品 中 也 有 不 成 功 的 案例 ， 如 : Web UI 自 动 化 测试 。 


为 了 防止 界面 布局 发 生变 化 导致 自动 化 用 例 不 可 用 ， 自 动 化 工具 需要 识别 界面 控件 ， 然 后 才能 对 控件 进行 程序 化 的 操作 ， 实 
现 自动 化 测试 。 识 别 界面 控件 最 直接 的 方法 是 通过 控件 1D 识别 ， 于 是 测试 试图 修订 界面 开发 规范 ， 对 控件 1D 命名 提出 要 求 。 


但 是 这 个 方案 遭 到 了 开发 团队 的 抵制 ， 因 为 控件 ID 是 由 开发 工具 生成 的 ， 并 且 界 面 编程 中 并 不 需要 使 用 。 如 果 对 控件 ID 的 
命名 进行 规范 ， 开 发 需要 付出 额外 的 工作 ， 这 并 非 测试 团队 所 以 为 的 “以 前 也 做 ， 只 是 加 以 规范 ”。 最 后 ， 只 能 是 修改 了 界面 控 
件 的 识别 方法 ， 使 之 不 依赖 控件 ID。 


在 这 个 案例 中 ， 既 没有 研发 整体 质量 和 效率 的 目标 ， 又 增加 了 测试 以 外 的 团队 的 工作 ， 被 抵制 也 就 是 必然 的 结果 了 。 


5.2.3 ”探索 式 测试 vs 剧本 式 测 试 


接 下 来 ， 将 要 讨论 两 个 时 下 比较 热门 的 “冲突 话题 ”， 一 个 是 探索 式 测试 (ET) 与 剧本 式 测试 (ST) ， 这 是 关于 测试 方式 
的 争论 ; 一 个 是 测试 设计 与 自动 化 ， 这 是 关于 能 力 建设 方向 的 争论 。 


探索 式 测试 是 近 些 年 比较 流行 的 测试 方式 。 测 试 过 程 是 ， 先 根据 输入 信息 和 经 验 整 理 出 测试 的 范围 ， 然 后 针对 范围 内 的 所 有 
测试 项 ， 边 设计 测试 用 例 边 执 行 ， 根 据 测试 执行 结果 决定 下 一 步 测试 内 容 和 重点 。 比 如 ， 对 一 个 特性 进行 功能 性 探索 测试 的 过 程 


二 本 
征 : 


首先 确定 测试 范围 ， 包 括 基 本 功能 、 跳 转 、 参 数 取 值 和 约束 合法 性 检查 、 响 应 时 间 、 上 默认 值 / 空 值 、 重 复 提 交 、 并 发 和 性 
能 、 破 坏 状态 控 制 、 易 用 性 /符合 常识 和 习惯 、 帮 助 、 术 语 规范 、 统 计数 据 完整 、 错 误 处 理 和 提示 等 。 然 后 将 要 测试 的 内 容 分 成 
若干 任务 ,每 个 都 能 在 2h 左 右 完成 。 接 下 来 执行 每 一 个 任务 ,执行 任务 的 过 程 中 采用 边 思考 、 边 实施 ， 边 执行 、 边 观察 ， 边 假 
设 、 边 求证 的 方式 ， 将 用 例 设计 和 测试 执行 融合 在 一 起 。 


探索 式 测试 是 比较 符合 人 的 思维 模式 的 ， 测 试 工程 师 原本 也 是 在 对 软件 的 操作 过 程 中 不 断 产 生 对 于 测试 设计 的 新 想法 。 


剧本 式 测 试 是 在 探索 式 ;测试 提出 后 ， 针 对 传统 的 先 设 计 后 执行 的 测试 方式 定义 的 一 个 名 词 。 剧 本 式 ; 测 试 指 的 是 预先 设计 好 测 
试 的 范围 并 实例 化 成 用 例 ， 包 括 用 例 的 测 斌 步骤、 数据、 预期 结果 。 然 后 逐个 执行 设计 好 的 用 例 ， 并 检查 系统 的 响应 和 预期 结果 
是 否 一 致 。 原 则 上 剧本 式 测试 更 有 利于 说 清楚 测试 覆盖 情况 ， 以 便 进行 质量 评估 ， 测 试 的 内 容 经 过 精心 的 设计 ， 还 有 同行 和 系统 
工程 师 、 开 发 工程 师 参 与 评审 ， 实 际 上 是 先 固化 了 一 部 分 经 验 ， 有 助 于 测试 质量 的 稳定 。 此 外 ， 剧 本 式 测试 的 过 程 是 比较 有 利于 
自动 化 实现 的 。 


最 初 接触 到 这 两 个 概念 ， 是 从 各 种 业界 大 牛 的 争论 和 演讲 中 看 到 的 ， 仿 佛 剧本 派 说 探索 派 弱 化 测试 设计 ， 轻 视 测试 最 根本 的 
工作 ;探索 派 说 剧本 派 花 太 多 时 间 在 文档 上 ， 赔 顾 开发 过 程 中 的 各 种 变化 。 在 系统 学 习 和 实践 了 探索 式 测试 后 ， 发 现 探索 式 测试 
并 非 忽 视 测 试 设计 ， 而 是 认为 在 拿 到 应 用 系统 前 ， 进 行 非常 细致 具体 的 测试 设计 没有 必要 ， 因 为 这 个 领域 内 ， 很 少 有 能 按 事 先 设 


计 好 的 方案 进行 实现 的 系统 。 因 此 ， 探 索 式 测试 和 剧本 式 测试 的 根本 区 别 ， 并 非 在 是 否 重 视 测 试 设计 ， 人 至 于 根本 区 别 是 什么 之 后 
会 讨论 。 
首先 来 看 看 探索 式 测试 有 什么 优势 ， 应 用 中 需要 注意 什么 问题 。 至 于 剧本 式 测试 ， 读 者 应 该 比较 熟悉 了 ， 我 就 不 班 门 弄 荐 
了 。 探 索 式 测试 的 优势 有 : 
* 较 少 工作 浪费 。 尤 其 是 较 少 文档 工作 量 的 浪费 。 在 拿 到 被 测试 对 象 前 ， 只 进行 high level 的 测试 设计 (探索 范围 ) 。 同 时 这 
种 方式 也 能 够 比较 快 地 适应 软件 开发 过 程 中 的 需求 和 设计 变化 。 
. 较 好 的 全 系统 思维 。 通 常 每 个 探索 过 程 会 完成 一 个 完整 的 任务 ， 并 尝试 观察 系统 各 方面 的 表现 。 同 时 ， 探 索 测试 过 程 中 ， 


会 比较 多 地 尝试 在 不 同 的 特性 上 使 用 类 似 的 测试 思路 ;在 同一 个 特性 上 使 用 不 同 的 测试 思路 ; 或 者 组 合 场景 、 参 数 、 操 作 步 又 、 
潜 误 等 因素 。 这 样 会 让 测试 工程 师 比 较 快 地 建立 起 对 整个 系统 的 认 知 。 


较 快 的 缺陷 暴露 。 对 于 那些 以 发 现 缺陷 为 目的 的 探索 活动 ， 很 多 测试 团队 的 实践 数据 支持 这 个 结论 缺陷 发 现 的 效率 一 
般 会 提升 20%~40%。 因 为 在 这 类 探索 过 程 中 ， 测试 工程 师 一 旦 发 现 了 一 个 缺陷 ， 就 倾向 于 去 检查 在 类 似 的 特性 、 场 景 、 条 件 
下 ， 是 否 会 有 缺陷 ， 而 bug 是 具有 和 群 聚 性 的 。 


. 较 快 的 质量 反馈 。 探 索 式 测试 将 一 个 测试 活动 分 为 若干 年 session， 每 个 session 有 其 确定 的 验证 范围 和 目标 。 每 个 session 结 
需要 对 目标 和 过 程 进 行 总 结 ， 得 到 部 分 关于 质量 的 信息 。 这 些 信息 除了 被 用 于 输出 测试 结论 ， 也 会 被 第 一 时 间 用 于 开发 和 设计 
的 改进 ， 因 此 ， 探 索 式 测试 也 是 快速 软件 测试 的 重要 手段 。 


* 可 以 测试 得 比较 深入 。 探 索 测 试 一 般 不 追求 接口 、 代 码 、 特 性 或 者 路 径 之 类 的 覆盖 ， 对 于 简单 的 不 出 错 的 场景 通常 一 带 而 
过 。 这 样 ， 测 试 工程 师 会 有 更 多 精力 去 验证 在 并 发 、 交 互 、 组 合 等 情况 发 生 时 ， 系 统 的 表现 是 否 正常 。 


探索 式 测 试 应 用 中 也 有 很 多 需要 注意 的 问题 ， 例 如 : 


不 同 的 人 有 不 同 的 效果 ， 管 理 者 要 有 准确 的 预期 。 新 人 ， 可 以 期 望 他 加 深 了 对 产品 和 测试 的 理解 ; 经 验 丰富 的 人 ， 可 以 通过 
他 确认 重要 的 影响 因素 在 设计 中 已 经 都 考虑 到 了 ; 善于 发 散 思 维 的 人 ， 可 以 期 望 他 发 现 较 多 严重 的 缺陷 ;善于 系统 思维 的 人 ， 可 
以 期 望 他 给 出 质量 方面 的 结论 。 不 同 的 测试 效果 是 由 不 同 的 思维 习惯 和 知识 结构 决定 的 。 这 也 是 为 什么 在 实践 中 ， 通 常 都 是 把 探 
索 式 测试 和 剧本 式 测试 结合 起 来 ， 解 决 特定 的 质量 风险 ， 用 特定 的 方法 、 特 定 的 人 去 做 。 


session 划 分 、session 完 成 后 的 总 结 非常 重要 。 探 索 式 测试 和 自由 随意 的 漫游 式 测试 ， 最 根本 的 区 别 就 是 ET 是 被 仔细 地 管理 
起 来 的 过 程 ，session 范 围 和 目的 的 设计 、 不 断 质量 反馈 的 微 循环 、 批 判 式 思维 等 是 ET 的 核心 。 管 理 不 善 的 探索 式 测试 ， 只 能 
望 发 现 更 多 的 缺陷 ， 但 是 这 些 缺 陷 是 否 关 键 没有 人 能 保证 ， 测 试 完成 后 也 很 难 导 出 质量 结论 。 


探索 测试 的 过 程 不 容易 回溯 。 探 索 式 测试 将 思考 和 执行 紧密 结合 起 来 ， 留 给 记录 的 空间 很 小 。 所 以 一 旦 测试 中 发 现 一 个 较 难 
重 现 的 缺陷 ， 比 较 难 倒 回 去 追溯 测试 的 过 程 ， 找 到 缺陷 重 现 的 方法 。 测 试 完成 后 ， 也 很 难 简洁 、 清 楚 地 说 明 这 个 session 的 覆盖 
情况 是 怎样 的 (代码 覆盖 的 情况 很 容易 获得 ， 但 是 这 远 远 不 够 )， 该 考虑 的 是 否 都 考虑 到 并 测试 到 了 ， 是 否 有 出 现 了 的 缺陷 却 被 
忽视 了 。 不 过 这 个 间 题 应 该 是 可 以 通过 技术 手段 解决 的 ， 相 信 ET 的 相关 工具 会 在 不 久 的 将 来 提供 很 好 的 解决 方案 。 


探索 测试 过 程 中 测试 的 用 例 不 容易 被 继承 和 自动 化 。 探 索 式 测试 一 个 session 控 制 在 2h 内 ， 并 且 建 议 在 探索 的 过 程 中 将 探索 
点 和 重要 的 现象 记录 下 来 ， 但 是 依然 不 可 能 通过 这 些 记 录 和 新 鲜 热 辣 的 回忆 重新 组 织 出 用 例 。 而 且 ， 探 索 式 测试 的 大 师 们 似乎 也 
不 建议 将 过 程 中 的 用 例 再 保留 下 来 ， 他 们 认为 ， 没 有 发 现 问 题 的 用 例 不 值得 长 期 保留 ， 这 个 判断 在 高 速 变 化 的 互联 网 应 用 领域 可 
能 是 真理 。 自 动 化 方面 ， 既 然 过 程 中 和 结束 后 都 没有 用 例 ， 那 么 自动 化 也 就 没有 基础 了 。 在 实践 中 ， 测 试 工程 师 通常 还 是 会 在 测 
试 完成 后 ， 将 重要 的 和 基本 的 用 例 保 留 下 来 并 实现 自动 化 。 和 上 一 个 问题 一 样 ， 这 个 问题 有 可 能 通过 测试 工具 的 发 展 ， 用 新 的 思 
路 和 技术 来 解决 。 


需要 基于 信任 去 管理 ET 过 程 。 ET 过 程 中 很 难 统计 和 分 析 测 试 了 多 少 用 例 ， 履 盖 是 否 完整 ， 缺 陷 的 多 少 是 运气 问题 还 是 态度 
问题 。 那 些 在 ST 中 进行 度量 的 数据 在 ET 过 程 中 大 多 无 法 度量 ， 所 以 管理 者 最 好 基于 信任 去 管理 ET， 除 非 后 来 的 结果 证 明 ， 有 些 
人 不 适合 ET 的 工作 方式 。 


回 到 前 面 埋 下 的 彩蛋 ， 探 索 式 测试 和 剧本 式 测试 的 根本 区 别 ， 当 选择 如 何 搭配 好 两 种 方式 的 测试 时 ， 主 要 考虑 的 因素 是 : 希 
望 对 质量 有 多 大 程度 上 的 确信 ?测试 的 成 果 一 一 用 例 ， 是 否 需要 继承 并 自动 化 ”是 “ 群 知 ”还 是 “英雄 ”对 这 个 测试 任务 的 影 
响 更 大 ? 


最 后 补充 一 点 : 纯粹 的 探索 式 测试 和 纯粹 的 剧本 式 测试 都 是 比较 少 用 的 ， 二 者 应 该 进行 结合 ， 各 取 所 长 、 优 势 互 补 。 
这 些 纯 属 个 人 的 观点 ， 想 要 真正 了 解 探索 式 测试 ， 建 议 首先 看 看 下 面 这 些 材 料 : 
“ A Tutotial in Exploratory Testing by Cem Kaner 


* Exploratory Testing Explained by James Bach 


5.2.4 ”测试 设计 vs 自动 化 


这 个 冲突 话题 的 诞生 ， 并 非 由 于 测试 设计 和 自动 化 本 身 概念 上 的 对 立 ， 而 是 当 测 试 团队 准备 将 有 限 的 资源 投入 到 团队 的 测试 
技术 能 力 建设 时 ， 是 该 以 建设 测试 设计 能 力 为 重点 ， 还 是 以 自动 化 能 力 为 重点 。 


自动 化 常常 是 测试 团队 首先 想 要 建设 的 内 容 ， 因 为 自动 化 的 好 处 是 明显 的 : 
* 这 个 工作 输出 的 成 果 一 一 工具 、 脚 本 框架 、 自 动 化 用 例 ， 都 是 可 以 长 期 重复 使 用 的 ， 是 “实在 ”的 “可 见 ” 的 成 果 。 


“ 自动 化 在 质量 守护 和 问题 快速 反馈 上 起 到 了 决定 性 的 作用 。 大 部 分 需要 长 期 更 新 维护 的 软件 ， 都 需要 自动 化 能 力 帮助 防止 
质量 劣化 、 支 持 重 构 。 


:自动 化 几乎 是 测试 活动 的 终极 形式 。 当 某 一 类 测试 内 容 已 经 被 研究 透彻 ， 形 成 了 一 定 的 规律 和 模式 ， 那 就 可 以 进一步 实现 
自动 化 测试 。 所 以 ， 在 我 们 的 测试 团队 中 ， 很 长 一 段 时 间 谈 到 测试 技术 似乎 只 有 自动 化 。 


当 MBT 自 动 化 逐渐 成 熟 ， 自 动 化 的 一 些 “ 顽 疾 ” 也 正在 解决 (参见 7.1.4 节 “测试 充分 性 快速 提升 : 老 代 码 持续 验证 ”中 
对 MBT 的 介绍 ) ， 比 如 ， 


“ 实现 滞后 。 自 动 化 是 在 测试 中 或 测试 完成 后 专门 花 时 间 做 出 来 的 ， 只 能 用 于 后 面 的 版 本 测试 ， 对 新 特性 测试 来 说 ， 是 成 
本 不 是 收益 。MBT 模 式 下 ， 自 动 化 用 例 是 生成 的 ， 这 样 新 特性 的 自动 化 用 例 有 项 望 和 产品 代码 同步 就 绪 ， 在 新 特性 测试 中 也 能 
使 用 自动 化 用 例 。 


“ 杀 哇 剂 悖 论 。 自 动 化 用 例 总 是 对 系统 进行 完全 一 样 的 测试 ， 不 能 发 现 新 的 问题 。MBT 模 式 下 ， 可 以 利用 一 些 随 机 的 算 


法 使 每 次 生成 的 用 例 不 完全 一 样 。 


但 是 自动 化 也 背负 了 “不 能 承受 之 重 ”， 自 动 化 无 法 解决 的 最 最 典型 的 问题 莫 过 于 “减员 增 效 ”。 研 发 主管 们 的 逻辑 是 ， 如 
果 测 试 执行 的 事情 机 器 做 了 ， 那 么 人 应 该 空 出 来 了 ， 或 者 相同 的 人 可 以 做 其 他 更 多 的 事情 了 。 而 测试 经 理 们 都 知道 ， 进 行 自动 化 
很 难 做 到 解放 人 力 的 地 步 ， 即 使 做 到 了 ， 那 也 需要 走 非常 长 的 路 ， 很 可 能 需要 3 年 以 上 的 时 间 ， 经 历 过 : 工具 和 架构 成 型 一 生产 
自动 化 用 例 使 之 达到 必要 的 覆盖 一 自动 化 与 用 例 产生 得 足够 快 开 发 者 也 能 轻易 使 用 一 开发 者 测试 达到 较 高 覆盖 一 遗留 到 专业 测试 
团队 的 缺陷 减少 一 需要 的 测试 工作 减少 一 减员 增 效 。 在 这 个 过 程 中 的 大 部 分 阶段 ， 测 试 团队 甚至 需要 更 多 的 人 。 症 结 在 哪里 呢 ? 
现在 的 测试 技术 和 工具 还 很 难 做 到 “在 新 特性 开发 就 绪 的 时 候 ， 自 动 化 用 例 也 就 绪 ”， 即 使 在 使 用 MBT 的 团队 中 ， 也 只 有 部 分 


场景 能 做 到 。 大 部 分 时 候 ， 由 于 接口 和 处 理 顺 序 都 是 在 最 后 关头 才 确 定 的 ， 自 动 化 来 不 及 适 配 。 


自动 化 背负 的 不 合理 的 期 望 还 有 : 用 更 高 的 自动 化 率 使 者 特性 在 “未 来 ”的 应 用 中 不 出 问题 。 研 发 主管 们 的 逻辑 是 ， 既 然 自 
动 化 主要 是 履 盖 老 特性 ， 那 么 已 经 实现 自动 化 的 老 特 性 以 后 应 该 就 不 能 再 有 问题 。 但 是 现实 是 : 老 革 命 总 是 遇 到 新 问题 。 也 许 是 
和 新 特性 组 合 起 来 会 有 问题 ， 也 许 是 修改 了 某 个 数据 会 影响 到 新 特性 ， 也 许 是 用 户 的 使 用 方式 比较 特别 升级 后 受到 了 影响 ， 也 许 
是 某 个 参数 有 了 新 的 可 能 取 值 。 这 些 都 不 是 仪 仅 依 靠 覆 盖 老 特性 可 以 发 现 的 。 


如 何 让 自动 化 不 要 背负 这 些 包容 ， 仅 仅 告诉 研发 主管 们 自动 化 不 能 做 什么 是 不 够 的 ， 这 只 会 让 他 们 对 这 件 事情 失去 兴趣 。 测 


试 工 程 师 需要 发 掘 一 些 能 引起 各 研发 主管 的 兴趣 的 价值 ， 本 节 最 后 举 了 一 个 自动 化 价值 发 掘 的 例子 ， 但 这 个 例子 并 非 唯一 答案 ， 
测试 团队 需要 根据 产品 、 团 队 的 能 力 现状 自行 确定 。 


和 研发 主管 们 就 工作 价值 达成 一 致 的 主要 目的 是 ， 获 得 研发 各 个 角色 的 支持 ， 比 如 : 需求 工程 师 的 支持 ， 可 以 确保 需求 的 变 
动 第 一 时 间 通 知 到 测试 团队 ;系统 工程 师 的 支持 ， 可 以 帮助 测试 工程 师 明确 哪些 新 、 老 特性 是 需要 组 合 使 用 的 ; 开发 主管 的 支 
持 ， 可 以 确保 对 开发 环节 的 规范 性 要 求 能 落实 。 


【测试 设计 】 这 是 测试 的 一 个 “ 魔 台 ”， 当 测试 做 得 不 够 快 、 上 线 后 出 问题 、 后 面 的 版 本 发 现 了 前 面 版 本 潜藏 的 缺陷 .…… 几 
乎 当 研发 主管 们 党 得 测试 在 质量 、 成 本 、 效 率 上 存在 问题 时 ， 都 会 认为 有 测试 设计 能 力 方面 的 原因 ， 因 为 好 的 测试 设计 的 标准 
是 “用 较 少 的 用 例 达到 符合 要 求 的 质量 ”。 测 试 设计 的 重要 性 是 明确 的 : 


测试 是 否 有 效 取决 于 测试 设计 。 测 试 设计 最 重要 的 是 明确 测试 的 范围 一 一 这 个 版 本 或 者 特性 仪 验证 基本 功能 就 好 ? 还 是 需 
要 深入 地 进行 参数 、 流 程 、 逻 辑 、 特 性 组 合 等 方面 的 测试 ? 是 否 需 要 验证 性 能 ?是 验证 响应 速度 还 是 并 发 量 ? 是 否 需 要 验证 安 
装 、 帮 助 、 安 全 性 、 可 靠 性 、 耗 电 、 下 载 途径 等 各 个 方面 的 内 容 ?” 同时 ,测试 范围 还 要 基于 环境 、 进 度 、 人 力 、 开 发 计划 等 因素 
进行 权衡 取舍 。 


测试 范围 直接 决定 了 到 底 有 多 少 内 容 需要 测试 ， 也 决定 了 时 间 点 到 的 时 候 ， 是 否 有 可 能 完成 必需 的 工作 。 缺 乏 这 个 层次 的 设 
计 ， 会 导致 测试 质量 完全 失控 。 曾 经 有 一 个 项 目 ， 测 试 经 理 误 判 了 版 本 的 性 能 风险 ， 将 性 能 测试 安排 到 了 功能 测试 全 部 完成 后 ， 
结果 到 邻近 发 布 的 最 后 一 周 ， 发 现 性 能 指标 都 达到 要 求 的 几 个 部 件 ， 组 装 起 来 以 后 性 能 完全 无 法 满足 要 求 。 项 目 反思 时 发 
现 ，SE 一 早 就 有 这 个 担心 ， 所 以 测试 的 范围 、 重 点 和 优先 级 需要 和 团队 的 各 个 角色 进行 沟通 。 


当然 ， 测 试 工程 师 通 常 不 会 完全 不 对 测试 范围 作出 安排 ， 更 多 的 情况 是 对 范围 内 的 测试 内 容 缺 乏 风 险 上 的 预 佑 ， 一 旦 需要 调 
整 的 时 候 ， 缺 乏 足 够 的 调整 依据 。 


测试 的 深度 和 质量 取决 于 测试 设计 。 测 试 设计 思考 的 是 产品 /特性 在 什么 环境 (机 器 、 网 络 ) 、 什 么 场景 (什么 时 候 ， 谁 ， 
出 于 什么 目的 ， 做 一 件 什么 事情 ， 怎 么 做 的 ) 下 使 用 ， 使 用 的 时 候 业 务 流 、 数 据 流 是 怎样 的 ， 有 哪些 数据 和 特性 参与 了 这 个 处 理 
过 程 ， 如 何 产 生 影 响 。 从 而 决定 应 该 测试 哪些 场景 、 参 数 和 组 合 ， 场 景 、 参 数 和 组 合 是 测试 最 基本 的 ， 还 是 要 进行 深入 的 覆盖 。 


在 我 们 的 产品 项 目 中 ， 很 多 时 候 ， 让 测试 工程 师 觉得 “耻辱 ”的 并 非 系 统 对 噶 常 的 处 理 不 当 导致 的 崩溃 ， 而 是 明明 很 正常 的 
输入 ， 只 要 履 盖 到 了 就 一 定 会 发 现 的 缺陷 ， 但 是 在 设计 时 就 是 想不到 。 


刚 开始 我 也 党 得 不 可 思议 ， 这 人 么 正常 的 数据 ， 怎 么 就 会 漏 了 ? 是 态度 原因 吗 ? 但 是 ， 真 正 把 自己 放 到 那个 环境 中 ， 却 发 现 自 
己 也 不 一 定 就 能 想到 。 测 试 设计 的 难点 也 正在 于 此 ， 做 好 测试 设计 可 能 是 测试 人 的 终身 修炼 。 


有 些 时 候 ， 测 试 设 计 不 是 产生 用 例 的 唯一 方法 ， 还 可 以 用 其 他 方法 和 测试 设计 形成 豆 补 。 比 如 抽取 一 个 时 间 段 的 在 线 数据 在 
新 版 本 上 回放 ; 利用 事务 跟踪 能 力 抓 取 在 线 使 用 场景 进行 回放 ; 利用 算法 生成 海量 数据 检查 系统 处 理 结果 是 否 合理 等 。 


测试 之 所 以 是 个 “技术 ” 活 ， 而 不 是 一 个 猴子 就 能 干 的 活 ， 不 是 一 个 稍 加 训练 的 外 行 就 能 干 的 活 ， 就 是 因为 测试 是 需要 设计 
的 ， 那 么 测试 设计 的 难题 是 什么 呢 ? 


测试 设计 最 典型 的 难题 是 : 再 好 的 测试 设计 都 是 一 个 过 程 输出 件 ， 测 试 执行 时 是 否 都 覆盖 到 了 ， 观 察 点 是 否 足 够 ， 是 否 有 错 
误 被 忽略 了 ， 这 些 对 测试 质量 的 影响 并 不 比 测试 设计 小 。 一 个 典型 的 案例 是 ， 测 试 团队 曾经 用 2 年 时 间 尝 试 将 测试 设计 和 执行 进 
行人 员 上 的 分 离 ， 以 降低 测试 的 人 力 成 本 ， 结 果 发 现 根本 行 不 通 ， 分 离 以 后 测试 成 本 升 高 、 质 量 劣 化 ， 几 乎 和 想 要 的 结果 完全 背 
道 而 驰 。 现 在 开发 一 一 测试 一 一 设计 一 体 化 团队 和 探索 式 测试 如 此 热门 ， 很 重要 的 原因 是 ,很 多 软件 人 意识 到 ， 持 续 的 思考 、 
寺 续 的 试 错 、 持 续 的 沟通 可 能 是 软件 测试 最 有 效 的 方式 。 


好 的 测试 设计 还 有 一 个 难题 一 一 需要 非常 多 的 信息 。 除 了 新 特性 的 设计 文档 ， 至 少 还 有 关于 需求 的 应 用 场景 、 使 用 目的 、 
风险 、 用 户 背 景 等 ;， 关 于 设计 的 业务 流 、 数 据 流 、 控 制 逻 辑 、 接 口 、 数 据 结 构 ;， 关 于 架构 的 相关 模块 、 层 次 关系 等 。 最 要 命 共 
是 ， 对 经 验 也 有 很 强 的 依赖 ， 过 往 是 否 有 类 似 、 相 关 、 相 斥 的 需求 ， 这 些 需 求 在 测试 和 应 用 中 出 过 什么 样 的 问题 等 。 可 以 看 出 
来 ， 除 非 有 技术 方面 革命 性 的 突破 ， 否 则 测试 设计 的 难题 ， 唯 有 通过 时 间 和 项 目 经 验 的 积累 来 解决 。 


回 到 最 初 的 问题 ， 当 想 要 进行 团队 的 测试 技术 能 力 建 设 时 ， 应 该 选择 做 自动 化 还 是 测试 设计 ? 


一 般 来 说 ， 如 果 急 需 做 点 什么 显示 自己 在 进行 能 力 方面 的 建设 ， 那 么 自动 化 是 不 二 之 选 ， 因 为 自动 化 建设 首先 会 “生产 ” 工 
具 和 自动 化 用 例 这 些 能 够 执行 的 代码 ， 而 测试 设计 首先 “生产 ”的 是 文档 ， 看 上 去 前 者 “ 实 ” 后 者 “ 虚 ”。 自 动 化 首先 会 就 问题 
解决 问题 ， 而 测试 设计 首先 是 分 析 间 题 的 内 在 逻辑 ， 自 动 化 通常 “见效 ”会 比较 快 一 些 。 


除 此 以 外 ， 选 择 先 发 展 自动 化 还 是 测试 设计 ， 需 要 抓 住 两 条 : 第 一 ， 自 动 化 侧重 工具 能 力 建设 ， 测 试 设计 侧重 人 的 能 力 建 
设 ， 原则 上 优先 改进 短 板 ; 第 二 ， 根 据 对 问题 的 分 析 选 择 合适 的 路 径 ， 测 试 团队 进行 能 力 建 设 的 契机 ， 通 常 出 现在 产品 质量 出 了 
问题 的 时 候 ， 原 则 上 新 开发 的 功能 缺陷 多 优先 改进 测试 设计 ; 老 功 能 缺陷 多 优先 改进 自动 化 。 


最 后 ， 自 动 化 和 测试 设计 ， 并 不 是 非 此 即 彼 的 选择 ， 更 理想 的 方式 是 ， 对 问题 进行 分 析 ， 对 测试 设计 进行 改进 ， 进 而 设计 无 
需 人 工 介入 的 方法 ， 最 后 实现 自动 化 验证 。 


【案例 】 自 动 化 价值 发 掘 。 


在 测试 自动 化 成 功 开展 工作 的 要 素 中 ， 技 术 是 最 根本 的 ， 如 果 根本 没有 完成 工作 所 需 的 技术 手段 ， 或 者 当前 的 技术 手段 应 用 
成 本 太 高 、 不 可 靠 ， 那 么 一 切 都 是 空谈 ， 这 里 先 假设 技术 不 是 问题 。 


A 是 一 个 测试 经 理 ， 带 领 的 团队 主要 是 进行 版 本 发 布 前 的 测试 ; X 是 研发 经 理 ， 是 对 产品 研发 的 进度 、 质 量 、 成 本 负责 的 
人 。A 和 希望 X 在 本 次 版 本 测试 R 项 目 上 投入 多 一 个 人 B， 实 现 某 类 接口 的 自动 化 测试 。 


第 一 步 : 


现在 开始 “ 换 位 ” ，X 最 在 乎 的 是 什么 ”在 大 部 分 的 研发 经 理 心中 ， 进 度 是 第 一 位 的 ， 其 次 是 成 本 ， 最 后 是 质量 ， 当 然 人 员 
队伍 最 好 稳定 。 天 下 武功 ， 唯 快 不 破 一 一 进度 > 成 本 > 质量 > 人 。 


回 到 角色 A， 大 部 分 时 候 测试 想 做 的 事情 是 关乎 质量 的 ， 有 时 候 做 些 工 具 什么 的 可 能 可 以 节约 成 本 ， 或 者 可 以 从 烦琐 的 操作 
中 抽身 出 来 以 便 做 些 需要 脑子 的 工作 ， 而 通常 测试 项 目 不 会 对 进度 太 有 利 。 这 里 也 假设 这 次 的 情况 是 为 了 质量 改进 的 。 


事情 不 太 妙 ， 看 上 去 无 解 。 


第 二 步 : 


继续 “ 换 位 ”， 质 量 排 最 后 ， 是 表示 研发 经 理 不 关注 质量 吗 ?应 该 不 是 ， 研 发 经 理 对 质量 的 要 求 是 有 “底线 的 ”一作 为 
卖点 的 新 特性 、 或 者 作为 最 基本 能 力 的 老 特性 不 能 正常 使 用 ;客户 蒙受 损失 (比如 数据 丢失 ) 或 退出 服务 的 投诉 较 多 ; 服务 质 
量 、 性 能 明显 下 降 .… 研发 经 理 的 质量 底线 还 有 其 他 的 ， 就 不 再 多 列 了 。 


如 果 R 项 目 尚 未 自动 化 的 部 分 确实 存在 底线 失守 的 问题 ， 那 么 非常 幸运 ， 工 作 的 价值 可 以 就 此 确定 了 。 不 过 这 一 次 ，B 负 责 
的 产品 没有 这 么 幸运 ， 因 此 还 需要 继续 分 析 。 


第 三 步 : 


是 否 将 研发 经 理 和 测试 经 理 的 观点 看 的 太 对 立 了 ?” 质 量 和 进度 有 没有 可 能 统一 ”测试 能 否 让 整个 研发 进程 又 快 又 高 质量 ”让 
上 线 过 程 又 快 又 可 控 ? 让 客户 反馈 又 快 又 准确 …… 


听 上 去 有 点 乌托邦 ， 但 是 确实 有 很 多 测试 自动 化 的 实践 就 是 达到 这 个 目的 的 ， 耳 熟 能 详 的 比如 CI、ATDD 等 。 我 还 知道 百度 
的 一 位 测试 专家 ， 利 用 在 线 采 集 的 性 能 数据 、 用 户 行为 统计 数据 进行 用 户 研 究 ， 帮 助 研发 团队 校准 方向 。 华 为 也 有 团队 利用 性 能 
测试 和 分 析 的 能 力 ， 主 导 产 品 的 性 能 优化 。 


回 到 这 个 例子 ， 如 果 B 所 要 完成 的 自动 化 工作 ， 能 够 帮助 开发 快速 的 构造 测试 用 例 ;， 或 者 能 够 让 研发 过 程 变 成 代码 提交 后 全 
自动 化 验证 ; 或 者 可 以 用 于 产品 上 线 后 是 否 正常 “健康 ”的 在 线 自动 检测 。 可 以 想象 ， 这 样 的 价值 是 比较 容易 获得 研发 经 理 的 投 
资 的 。 


也 许 你 要 说 : 拜托 ， 我 的 自动 化 测试 是 从 零 开始 ， 这 些 所 谓 的 价值 简直 是 空中 楼 阁 。 


从 我 的 经 验 看 ， 测 试 最 难 突 破 的 问题 就 是 只 从 测试 的 视角 看 问题 。 在 做 自动 化 方案 的 时 候 ， 常 常 就 是 想 提高 测试 覆盖 好 让 自 
己 安 心 ， 根 本 没有 想 过 可 以 在 开发 环节 用 ， 可 以 上 线 后 用 。 自 动 化 方案 也 做 成 了 只 有 测试 环节 、 具 备 测试 技能 的 人 能 用 。 前 面 提 
到 的 自动 化 用 例 的 应 用 场景 并 非 我 的 原创 ， 而 是 一 些 研发 经 理 提 出 的 设想 。 但 是 当真 正 考虑 怎么 实现 这 些 设想 的 时 候 ， 发 现 现 有 
的 自动 化 方案 根本 就 无 法 适应 这 些 场景 的 需要 : 也 许 是 写 一 个 用 例 要 配置 很 多 信息 ， 或 者 是 对 环境 有 诸多 要 求 ， 或 者 是 选择 的 接 
口 层次 不 合适 ， 或 者 是 工具 过 于 厚重 不 便携 带 ， 或 者 是 模拟 的 方法 仿真 度 不 高 。 很 少 能 够 看 到 有 产品 通过 增强 已 有 的 自动 化 测试 
方案 ， 成 功 实现 了 上 述 目的 的 。 


所 以 我 想 说 : 拜托 ， 无 论 起 点 在 哪里 ， 目 标 都 是 最 重要 的 。 仪 仅 为 了 测试 覆盖 而 实现 的 自动 化 ， 与 为 了 上 述 目的 实现 的 自动 
化 ， 二 者 在 方法 、 工 具 、 实 现 难度 上 差别 非常 大 。 当 然 ， 目 标 还 是 要 一 步 一 步 实 现 的， 首先 做 个 测试 能 用 的 ， 这 也 是 不 错 的 选 
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总 结 一 下 ， 在 这 个 场景 中 ， 帮 助 测试 经 理 找到 的 关于 自动 化 的 价值 包括 : 针对 目前 严重 的 问题 改善 质量 ; 帮助 实现 高 质量 、 
快速 的 软件 研发 ;帮助 产品 上 线 后 尽快 、 安 全 、 稳 定 的 运行 。 


希望 通过 这 个 例子 ， 帮 助 测试 经 理 跳出 测试 的 单一 视角 看 问题 ， 寻 找 测试 对 于 研发 的 真正 价值 ， 通 常 这 个 价值 是 围绕 进度 、 
成 本 、 质 量 去 找 的 。 这 不 是 一 件 容易 的 事情 ， 很 多 测试 经 理会 找 我 要 “业界 ”的 开发 测试 人 力 比 、 开 发 测试 周期 比 、 自 动 化 率 、 
缺陷 率 、 类 似 项 目的 测试 范围 等 各 种 信息 ， 希 望 用 这 些 信 息 支 持 他 们 去 和 研发 经 理 要 人 要 资源 。 这 里 先 姑且 不 提 这 些 数 据 根 本 找 
不 全 ， 即 使 是 能 找 全 ， 比 如 开发 测试 人 力 比 ， 那 也 是 从 1 : 2 到 20 : 1 的 都 有 ， 要 用 哪个 数据 作为 参照 呢 ? 而 且 ， 这 些 业界 数据 充 
其 量 是 在 研发 经 理 已 经 心动 了 以 后 的 一 个 催化 剂 ， 领 导 们 真正 关心 的 是 自己 团队 的 质量 和 效率 ， 谁 会 “因为 别人 是 这 样 的 ， 所 以 
我 也 要 这 样 ” 呢 ? 


我 见 过 一 个 有 智慧 的 测试 经 理 ， 把 他 计划 承担 的 责任 整理 出 来 和 研发 经 理 沟通 ， 获 得 了 在 人 力 、 资 源 上 的 很 大 支持 ， 这 才 是 
有 效 的 做 事 方式 。 


5.3 ”流程 中 固化 的 测试 能 


流程 作为 能 力 的 一 部 分 ， 并 不 是 说 采用 某 种 流 
力 ， 已 经 


旦 能 力 就 高 一 些 ， 采 用 另 一 些 流程 能 力 就 低 一 些 。 而 是 说 流程 本 身 作为 一 种 能 
已 经 在 研发 团队 有 效 地 运转 。 测 试 能 力 和 流程 结合 ， 部 分 能 力 固化 在 流程 中 ， 这 些 能 力 可 以 确保 流程 更 健康 地 运转 ， 同 时 通 
过 对 流程 的 控制 也 能 够 使 这 些 能 力 在 质量 、 效 率 上 发 挥 作用 。 
【作用 】 


流程 在 团队 能 力 中 是 解决 “什么 角色 ”在 “什么 时 候 ” 按 “什么 标准 ”“ 做 什么 事 ” 的 问题 的 。 
流程 定义 固化 了 产品 研发 的 各 项 活动 及 其 对 应 角色 和 分 工 ， 对 于 任何 一 个 新 加 入 团队 的 人 ， 依 据 这 
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定义 就 可 以 知道 如 


何 开展 工作 ， 每 个 角色 都 可 以 依据 这 个 流程 明确 自己 的 职责 和 能 力 要 求 ， 这 本 身 就 是 研发 团队 能 力 的 重要 体现 。 
2000 年 前 后 的 那 段 时间 ， 业 界 
估 模 型 。 


已 和 


用 能 力 成 熟 度 模型 (Capability Maturity Model，CMM) 来 衡量 软件 研发 团队 的 流程 
能 力 ， 现 在 除了 一 些 特殊 的 行业 ， 很 多 软件 公司 不 再 看 重 CMM 认 证 。 目 前 ， 也 没有 新 的 、 受 到 广泛 认可 的 软件 研发 过 和 


时 能力 评 
流程 作为 一 种 重要 的 组 织 能 力 ， 其 制订 、 改 进 和 推行 有 一 整套 方法 论 和 技术 ， 业 界 主 流 的 软件 研发 流程 内 容 也 非常 多 、 非 常 
根据 CMM、1PD 这 些 经 典 
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细 。 这 些 已 经 超出 了 测试 能 力 的 讨论 范围 ， 因 此 在 这 里 不 再 做 这 方面 的 介绍 。 如 果 研 发 团队 面临 的 问题 是 还 没有 流程 ， 那 么 可 以 


的 软件 研发 过 程 模型 先 制订 一 个 ， 在 应 用 的 过 程 中 再 适应 、 调 整 
短 周 期 的 迭代 实现 研发 的 小 步 快 跑 。 


整 。 这 里 没有 提 到 敏捷 ， 因 为 我 认为 敏 
捷 是 一 种 理念 和 模式 ， 而 不 是 流程 。 在 我 们 的 产品 研发 项 目 中 ， 流 程 框架 是 IPD， 在 设计 、 开 发 、 测 试 阶段 使 用 敏捷 的 模式 ， 用 
下 面 的 内 容 的 重点 是 : 测试 在 流程 运转 中 如 何 发 挥 作用 。 
5.3.1 测试 在 流程 运转 中 发 挥 哪些 作用 


典型 的 固化 在 流程 中 的 测试 能 力 包括 : 


统 的 测试 能 


1) 根据 产品 和 项 目 特征 形成 的 ， 如 体验 测试 、 镜 像 测试 、 验 收 测试 等 客户 化 测试 的 能 力 ， 预 集成 、 分 层 DFX 测 试 等 大 型 系 
这 些 能 力 通常 固化 为 产品 研发 流程 的 一 个 环节 或 活动 。 

2) 研发 流程 中 各 项 测试 主导 或 参与 的 活动 所 需 的 信息 ， 如 方法 、 工 具 、 模 板 、 学 习 材 料 、 经 验 案 例 、 检 查 表 等 
通常 固化 为 指导 书 、 模 板 和 工具 套件 ， 并 且 通 过 活动 名 称 检索 。 


。 这 些 能 力 
一 个 测试 团队 在 流程 方面 的 整体 要 求 ， 大 部 分 是 


3) 一 些 辅助 进行 流程 控制 的 测试 活动 ， 如 缺陷 分 析 、Cl。 这 些 能 力 通常 固化 为 流程 相应 阶段 的 出 入 口 标 准 。 
程 运转 效率 影响 比较 大 的 关键 的 点 包括 : 


' 方法 和 工具 完整 。 流 程 


过 QA 对 流程 符合 度 的 审查 来 确保 落实 的 。 从 技术 方面 测试 能 力 对 研发 流 
各 项 活动 的 指导 书 、 模 板 和 工具 套件 (参见 5.2 节 “方法 和 工具 方面 的 能 力 建 设 ”) 已 经 具备 ， 


自 
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并 被 团队 成 员 熟 练 使 用 。 这 部 分 能 力 的 作用 ， 是 使 研发 流程 在 测试 环节 没有 明显 的 技术 障碍 ， 测 试 的 主要 工作 能 够 正常 开展 。 


`， 并 同步 修改 测试 的 设计 和 实现 。 


需求 跟踪 。 项 目 中 特性 、 需 求 、 设 计 规 格 、 用 户 场景 、 测 试用 例 有 完整 的 跟踪 关系 。 这 部 分 能 力 的 作用 ， 一 方面 是 使 测试 
能 够 根据 跟踪 关系 评估 需求 和 场景 的 测试 覆盖 ， 提 交 需 求实 现 的 质量 信息 ; 另 一 方面 是 使 测试 能 够 根据 跟踪 关系 及 时 获取 变更 信 


* 尽早 测试 。 针 对 代码 和 设计 的 测试 在 开发 者 测试 中 ， 与 代码 编写 同时 进行 。 代 码 一 旦 提交 就 通过 CI 验证 对 性 角 
定性 有 无 意外 的 影响 。 这 部 分 能 


分 能 力 的 作用 ， 是 使 开发 者 测试 达到 必要 的 覆盖 要 求 ， 提 升 研发 的 质量 和 效率 。 


E、 长 时 间 稳 


* 分 层 开发 的 多 个 产品 之 间 ， 测 试 策略 相互 配合 《分 层 开 发 指 分 多 个 原子 产品 开发 ， 这 些 原子 产品 有 些 可 以 独立 销售 ， 也 可 
以 集成 成 为 一 个 更 高 层 的 产品 或 解决 方案 销售 ) 。 


. 测试 类 型 和 层次 有 确切 的 定义 。 每 个 产品 层次 的 测试 活动 都 有 明确 的 目标 和 测试 类 型 定义 ， 各 层次 的 测试 类 型 分 工 既 体 
现 了 尽早 测试 的 原则 ， 也 考虑 了 尽 可 能 减少 重复 测试 。 这 部 分 能 力 的 作用 ， 是 使 研发 整体 的 测试 效率 最 优 。 


` 尽早 测试 。 针 对 需求 和 场景 的 测试 ， 客 户 对 产品 的 体验 在 原子 产品 开发 的 过 程 中 就 逐步 开展 。 这 需要 研发 团队 能 够 按照 
特性 进行 研发 的 计划 和 管理 。 这 部 分 能 力 的 作用 ， 是 使 重要 的 需求 不 满足 的 问题 尽早 发 现 。 


` 测试 出 入 口 条 件 。 各 层 产 品 转 测试 有 明确 的 出 入 口 条 件 ， 出 入 口 条 件 包括 前 一 阶段 测试 (包括 开发 者 测试 ) 的 覆盖 达到 
目标 、 已 发 现 缺 陷 除 准许 遗留 的 以 外 已 全 部 修改 、CI 通 过 、 产 品 基 本 功能 验证 通过 等 。 这 部 分 能 力 的 作用 ， 是 杜绝 存在 严重 缺陷 
的 版 本 流入 下 一 个 阶段 ， 阻 塞 后 续 研 发 工作 。 


" 迭代 版 本 质量 控制 。 采 用 移 代 开发 模式 的 产品 ， 每 次 移 代 开发 测试 完成 后 ， 鹤 盖 率 、 这 留 缺 陷 密度 、 性 能 等 都 满足 产品 发 
布 的 质量 要 求 。 这 部 分 能 力 的 作用 ， 是 杜绝 技术 债务 向 后 续 和 迭代 持续 积压 ， 造 成 项 目 风险 失控 。 


' 现场 测试 管理 。 项 目 型 的 产品 ， 对 于 在 客户 现场 进行 的 测试 ， 有 明确 的 测试 活动 及 其 责任 角色 、 测 试 内 容 、 方 法 和 工具 的 
定义 ， 有 缺陷 和 问题 管理 的 模板 、 流 程 和 工具 。 管 理 方 法 和 流程 促进 了 现场 团队 和 后 方 支持 团队 的 有 效 沟通 ， 有 利于 交付 质量 和 
效率 的 提升 ， 得 到 了 客户 的 认可 。 这 部 分 能 力 的 作用 ， 是 使 产品 交付 工作 得 到 有 效 管理 。 


我 们 的 产品 研发 流程 框架 是 IPD， 其 中 测试 的 活动 和 分 层 与 W 模 型 研发 流程 一 致 。 在 IPD 应 用 的 过 程 中 ， 还 加 入 了 与 流程 结 
合 的 需求 管理 和 项 目 过 程 管 理工 具 ， 但 这 部 分 工具 用 得 还 不 算 成 熟 。 


5.3.2 ”测试 在 流程 运转 中 该 不 该 挥舞 大 棒 


测试 由 于 工作 性 质 的 原因 ， 对 问题 比较 敏感 ， 在 流程 执行 和 改进 的 过 程 中 常常 扮演 “监察 者 ”的 角色 。 在 扮演 这 样 的 角色 
时 ， 需 要 注意 几 点 。 


过 程 管 理 的 目的 是 项 目的 成 功 ， 而 不 是 流程 符合 度 。 固 化 研发 流程 ， 首 先是 因为 研发 的 各 个 角色 按 这 样 的 顺序 和 要 求 去 做 
了 ,， 并 且 把 项 目 做 成 功 了 ， 而 且 研 发 团队 也 认为 按照 这 个 流程 去 做 ， 后 续 项 目 成 功 的 概率 也 会 比较 大 ， 所 以 流程 实际 上 是 一 个 优 
秀 实践 的 经 验 总 结 。 但 是 流程 目前 还 远 远 谈 不 上 成 熟 ， 没 有 对 各 种 可 能 的 问题 都 确定 行 之 有 效 的 应 对 措施 (真有 这 样 的 流程 ， 那 
将 十 分 痛 肿 ) 。 因 此 ， 建 议 把 流程 作为 一 个 发 现 问题 的 工具 、 处 理 问题 的 指导 原则 ， 而 不 是 当做 法 律 。 


当 遇 到 流程 要 求 没有 满足 ， 测 试 的 相关 工作 也 会 受 影响 的 时 候 ， 对 测试 来 阅 ， 重 要 的 是 搞 清 楚 风险 在 哪里 ， 设 计 、 开 发 团队 
会 怎么 应 对 ， 测 试 团队 应 该 怎么 应 对 ， 研 发 各 环节 有 没有 责任 人 对 风险 进行 跟踪 ， 测 试 能 不 能 及 时 获得 更 新 信息 ， 而 不 是 直接 
说 “不 符合 流程 ， 不 同意 研发 过 程 继续 ”。 


这 里 并 不 是 说 不 要 遵从 流程 ， 事 实 上 研发 各 环节 都 应 该 尽 最 大 可 能 遵从 流程 ， 这 样 项 目 成 功 的 机 率 会 大 很 多 。 但 在 提倡 遵从 
流程 的 同时 ， 也 需要 在 流程 符合 度 和 适应 项 目的 灵活 处 理 之 间 找 到 各 方 都 能 接受 的 平衡 点 。 


如 果 严 格 追求 流程 符合 度 ， 那 么 以 下 这 样 的 情况 就 很 难 避免 : 

开始 ， 某 个 需求 客户 没 怎么 想 清 楚 ， 因 此 需求 分 析 也 做 得 比较 粗糙， 甚至 有 些 地 方 难以 自圆其说 。 客 户 和 需求 工程 师 计划 先 
把 需求 放 进 合同 ， 在 产品 研发 过 程 中 再 继续 确认 具体 要 求 和 应 用 场景 。 

接 下 来 ,流程 符合 度 审计 要 求 需求 必须 经 过 设计 、 开 发 、 测 试 的 评审 ， 评 审问 题 要 修改 完成 ， 否 则 整个 版 本 都 没有 办 法 通过 
需求 评审 点 进入 开发 阶段 。 如 果 等 到 需求 全 部 满足 要 求 再 进行 开发 ， 那 么 项 目 必 定 会 延期 。 


最 后 ， 设 计 部 这 样 规避 问题 : 首先 删 掉 这 个 需求 ， 使 流程 上 符合 评审 点 的 要 求 进入 开发 阶段 ， 然 后 再 在 开发 环节 提出 需求 变 
更 加 入 这 个 需求 。 需 求 再 次 加 入 时 ， 已 经 明确 了 大 部 分 要 求 和 场景 ， 可 以 轻松 通过 需求 评审 。 测 试 工程 师 或 者 QA 可 以 通过 需求 
变更 率 之 类 的 指标 继续 挥舞 大 棒 ， 但 是 这 种 研发 内 部 指标 显然 不 会 有 “客户 满意 度 ” “项 目 及 时 交付 率 ” 这 种 外 部 结果 指标 更 有 


分 量 。 


前 面 删除 需求 后 ， 相 应 的 设计 、 开 发 、 测 试 工作 量 也 被 删除 ， 后 续 再 加 入 需求 又 需要 再 修改 研发 各 个 环节 的 计划 ， 做 了 很 多 
无 用 功 ， 而 且 还 不 解决 问题 。 因 此 ， 我 不 建议 测试 经 常 挥舞 流程 符合 度 的 大 棒 。 像 上 面 这 样 的 问题 ， 让 研发 过 程 带 着 风险 继续 进 
行 ， 做 好 风险 的 管控 和 规避 计划 ， 做 好 风险 相关 信息 的 及 时 披露 ， 这 些 方法 会 更 有 效 。 


“稳定 、 明 确 的 需求 ”对 于 绝 大 部 分 软件 而 言 是 可 望 而 不 可 及 的 ， 我 所 经 历 的 研发 项 目 中 ， 在 编码 接近 结束 的 时 候 需 求 才 稳 
定 下 来 也 很 常见 ， 需 求 不 断 变更 似乎 是 “ 快 鱼 吃 慢 鱼 ”的 软件 行业 的 通病 ， 目 前 谁 也 无 力 去 改变 这 个 环境 ， 最 好 去 寻求 对 测试 最 
有 利 的 解决 方法 。 在 上 面 的 例子 中 ， 需 求 变更 对 测试 的 影响 确实 很 大 ， 但 是 当 变更 无 法 避免 的 时 候 ， 需 求 、 设 计 的 最 新 信息 没有 
及 时 知 会 到 测试 工程 师 ， 才 是 测试 经 理 们 应 该 着 手 去 解决 的 问题 。 


度量 的 目的 是 改进 。SQE 专 家 Lee Copeland 提 出 过 关于 度量 的 “四 不 要 ” 
1) 如 果 不 清楚 数据 的 含义 ， 那 就 不 要 去 度量 。 

2) 如 果 不 打算 在 度量 之 后 做 些 什 么 ， 那 就 不 要 去 度量 。 

3) 能 够 度量 结果 就 不 要 度量 过 程 。 

4) 不 要 把 提升 度量 数据 值 作为 目标 ， 尤 其 不 要 把 度量 数据 作为 考核 结果 。 


其 中 的 第 二 条 我 是 最 赞同 的 ， 从 我 的 经 验 中 ， 经 常 都 是 在 推行 一 些 改进 活动 之 前 ， 才 去 找到 相应 的 指示 数据 ， 让 指示 数据 配 
合 着 推行 动作 一 起 进展 。 在 推行 的 过 程 中 指示 数据 是 作为 项 目 目标 使 用 的 ， 当 推行 阶段 结束 后 ， 指 示 数 据 就 退场 ， 仅 仅 作 为 例 行 
的 观察 数据 了 。 


下 面 以 某 产 品 转 测 试 不 通过 为 例 进行 说 明 。 
【案例 】 产 品 转 测试 质量 改进 


版 本 完成 开发 交 给 测试 的 时 候 ， 基 本 功能 不 通过 的 情况 时 常 发 生 ， 刚 开始 问题 并 不 十 分 严重 ， 测 试 团队 可 以 使 用 一 些 规避 方 


法 把 基本 功能 都 测试 完成 ， 然 后 让 开发 人 员 把 基本 功能 的 问题 改 完 ， 后 续 的 测试 就 不 大 受 影响 了 。 但 后 来 问题 愈 演 念 烈 ， 常 常 要 
经 过 2 轮 以 上 的 问题 修改 ， 才 能 使 基本 功能 全 部 测试 通过 。 更 有 甚 者 ， 在 回归 测试 版 本 中 也 出 现 基本 功能 测试 不 通过 的 问题 。 一 
个 版 本 常常 需要 测试 5 轮 ， 甚 至 惊人 的 8 轮 。 因 此 ，“ 提 升 转 测试 基本 功能 测试 通过 率 ”就 成 为 质量 和 效率 改进 的 重点 。 


这 项 改进 的 指示 数据 是 很 明显 的 ， 包 含 如 下 两 个 指标 : 


- 测试 轮 次 。 每 个 版 本 测试 的 轮 次 总 数 。 原 则 上 ， 产 品 代码 更 新 后 ， 如 果 必 须 取 得 配置 库 上 的 新 版 本 才能 继续 进行 测试 的 ， 


测试 轮 次 就 应 该 加 一 。 


` 基本 功能 测试 通过 率 。 启 动 正式 测试 前 进行 的 基本 功能 验证 中 ， 用 例 执行 的 通过 率 (测试 通过 的 基本 功能 用 例 数 /测试 的 
基本 功能 用 例 总 数 ， 以 百分数 计 ) ， 每 个 版 本 、 每 个 测试 轮 次 分 别 统计 ， 目 标 是 100%。 原 则 上 是 统计 测试 用 例 基线 中 ， 每 轮 测 
试 “ 基 本 用 例 集 ” 的 通过 率 。 


相 比 明确 的 指示 数据 ， 这 项 改进 的 具体 实施 则 比较 “坎坷 ”。 


最 初 ， 测 试 团队 把 产品 的 基本 功能 用 例 集 共 享 给 开发 团队 ， 开 发 团队 按 特性 把 用 例 分 给 具体 的 开发 工程 师 ， 由 开发 工程 师 负 


责 用 例 的 转 测试 前 基本 功能 验证 。 责 任 前 移 落 实 得 很 顺利 ， 开 发 和 测试 团队 都 认为 这 样 是 合理 、 可 行 的。 但 是 ， 实 施 了 一 段 时 间 
发 现 这 样 不 解决 问题 ， 监 测 到 的 “基本 功能 测试 通过 率 ” 没 有 任何 改善 。 


分 析 后 发 现 ， 开 发 工程 师 和 测试 工程 师 对 同一 个 用 例 的 执行 和 观察 方法 不 一 样 ， 测 试 工程 师 一 般 从 用 户 界面 操作 ， 把 产品 完 
全 作为 一 个 黑 盒 ， 观 察 的 是 数据 库 、 文 件 、 用 户 界 面 和 其 他 外 部 接口 上 的 最 终结 果 。 而 开发 工程 师 测试 时 ， 是 直接 调用 消息 或 函 
数 接口 ， 观 察 的 是 接口 返回 值 或 内 部 参数 值 ， 特 性 实现 需要 依赖 其 他 特性 或 模块 时 ， 使 用 接口 模拟 的 方法 。 简 单 地 说 ， 开 发 工程 
师 用 单元 测试 的 方法 完成 基本 功能 用 例 的 测试 ， 事 实 上 ， 在 基本 功能 验证 责任 前 移 到 开发 之 前 ， 开 发 工程 师 也 用 同样 的 方法 进行 
功能 验证 ， 现 在 只 是 用 测试 提供 的 参数 和 数据 多 测试 了 几 个 用 例 而 已 ， 根 本 不 可 能 起 到 预期 的 缺陷 拦截 的 作用 。 因 此 ， 责 任 前 移 


后 ， 还 要 对 开发 工程 师 赋予 相应 的 测试 能 力 ， 需 要 的 能 力主 要 包括 : 产品 功能 的 系统 测试 环境 的 搭建 、 黑 盒 测试 用 例 执行 、 测 试 
结果 获取 和 判定 。 


开发 团队 接受 了 培训 和 一 段 时 间 的 辅导 以 后 ， 发 现 开 发 工程 师 对 黑 盒 测试 用 例 执行 、 测 试 结果 获 取 和 判定 掌握 得 比较 好 ， 但 
是 完全 独立 搭建 和 调试 环境 则 很 难 做 到 。 此 外 还 发 现 ， 在 开发 阶段 进行 黑 盒 测试 还 有 一 个 困难 : 如 果 特 性 的 实现 对 其 他 特性 有 依 
赖 ， 在 特性 编码 完成 后 不 一 定 能 够 第 一 时 间 进 行 基本 功能 验证 ， 必 须 等 到 所 依赖 的 其 他 特性 也 完成 编码 后 才能 验证 。 


于 是 ， 对 改进 方案 进行 了 调整 : 由 开发 工程 师 负责 用 例 的 转 测试 前 基本 功能 验证 ， 由 测试 工程 师 负 责 对 初始 环境 搭建 (用 上 
一 个 版 本 搭建 的 环境 ， 开 发 工程 师 只 需要 替换 软件 即 可 测试 新 功能 ) 提供 支持 。 在 版 本 开发 阶段 的 最 后 ， 确 定 专 门 的 基本 功能 验 
证 环节 ， 所 有 开发 工作 在 这 之 前 都 必须 完成 (也 有 团队 是 通过 按 特 性 划分 开发 任务 ， 或 者 使 用 看 板 等 方法 进行 更 精细 的 特性 开发 
计划 管理 ， 这 些 方法 也 能 够 使 特性 的 基本 功能 在 开发 过 程 中 就 可 以 得 到 验证 ) 。 


这 样 调整 以 后 ， 基 本 功能 验证 责任 前 移 到 开发 得 到 了 落实 ,测试 时 基本 功能 不 通过 的 情况 渐渐 绝迹 ， 版 本 的 测试 轮 次 控制 在 
3 轮 以 内 。 后 来 ， 针 对 初始 环境 搭建 耗 时 过 长 的 问题 ， 开 发 测试 共同 完成 了 环境 自动 化 安装 工具 ， 并 由 测试 负责 工具 的 持续 更 新 
和 维护 ; 针对 开发 、 测 试 对 特性 基本 应 用 场景 理解 不 一 致 ， 导 致 的 少量 基本 功能 缺陷 被 遗漏 问题 ， 确 定 基本 功能 测试 用 例 由 测试 
工程 师 、 系 统 工程 师 、 开 发 工程 师 三 方 共同 评审 确认 。 


最 终 实施 的 方案 是 : 
- 在 开发 阶段 ， 编 码 完成 之 前 ， 测 试 工程 师 完 成 基本 功能 用 例 的 设计 ， 并 组 织 系统 工程 师 和 开发 工程 师 评审 通过 。 


* 在 开发 阶段 ， 编 码 完 成 之 后 ， 由 开发 工程 师 完成 基本 功能 用 例 的 执行 ， 对 用 例 执行 通过 负责 。 测 试 工程 师 在 用 例 执行 工 


具 、 方 法 、 初 始 环境 搭建 上 提供 帮助 。 
. 测试 按 月 、 按 版 本 监测 和 发 布 “ 基 本 功能 测试 通过 率 ” 和 “测试 轮 次 ”。 


这 个 项 目的 实施 是 一 个 曲折 的 、 逐 渐 逼 近 目 标的 过 程 ， 如 图 5-5 所 示 。 


辅助 


明晰 责任 0 
效率 低 提升 基本 功能 测试 通过 率 


方法 错误 合作 


赋 能 


图 5-5 ”研发 流程 改进 的 实施 线路 


这 个 案例 中 ， 项 目的 实施 经 过 了 如 下 偏离 目标 再 纠正 错误 的 过 程 : 
1) 明晰 责任 。 明 确 “ 提 升 基本 功能 测试 通过 率 ” 是 开发 工程 师 的 责任 ， 这 是 进行 这 项 改进 的 基本 共识 。 


2) 方法 错误 。 执 行 过 程 中 ， 开 发 工程 师 使 用 的 测试 执行 方法 错误 ， 导 致 项 目 严 重 偏离 目标 。 


3) 赋 能 。 对 开发 工程 师 传授 系统 测试 执行 的 技能 ， 赋 予 开发 工程 师 正确 完成 工作 的 能 力 。 重 新 瞄 向 项 目 目标 。 
4) 效率 低 。 开 发 工程 师 在 环境 搭建 上 效率 低 ， 导 致 难以 按时 完成 测试 ， 项 目 仍 偏离 目标 。 


5) 辅助 。 测 试 工程 师 在 基础 环境 搭建 上 提供 辅助 ， 帮 助 开发 工程 师 按 时 、 正 确 地 完成 测试 工作 。 已 经 逼近 项 目 目标 。 
6) 有 分 歧 。 对 测试 用 例 的 理解 有 分 歧 ， 少 量 基本 功能 问题 被 遗漏 ， 项 目 目标 尚未 完全 达成 。 


7) 合作 。 基 本 功能 测试 用 例 由 测试 工程 师 、 系 统 工程 师 、 开 发 工程 师 三 方 评审 ， 在 测试 执行 前 达成 共识 。 项 目 目标 基本 达 


项 目 开始 明晰 责任 的 时 候 ， 主 导 项 目 分 析 实 施 的 测试 主管 就 预料 到 ， 开 发 工程 师 可 能 无 法 独立 搭建 环境 、 完 成 系统 测试 执 
行 。 但 是 ， 如 果 考 虑 到 这 些 因素 再 去 确定 责任 归属 ， 这 项 工作 就 很 可 能 还 是 测试 工程 师 的 责任 : 测试 工程 师 在 特性 编码 后 期 开始 
进行 基本 功能 验证 、 开 发 工程 师 提供 缺陷 定位 上 的 协助 。 这 样 的 方案 在 其 他 产品 中 也 尝试 过 ， 实 际 结果 是 : 基本 功能 验证 过 程 完 
全 就 是 “基本 功能 调 坛 ”， 测 试 工程 师 投 入 大 量 的 精力 帮助 开发 工程 师 反 复试 错 ， 效 率 很 低 ， 而 且 开 发 工程 师 还 认为 测试 工程 师 
干扰 了 他 的 工作 。 因 此 ， 测 试 主管 决定 抛 开 这 些 执行 上 可 能 遇 到 的 困难 ， 首 先 解 决 最 根本 的 问题 ， 找 到 责任 的 合理 归属 。 执 行 上 
遇 到 问题 ， 再 遇 河 拱桥， 着 山 开 路 。 


事实 证 明 ， 这 样 做 虽然 过 程 曲折 ， 但 是 确实 达成 了 目标 ， 基 本 功能 的 系统 测试 执行 只 需要 不 超过 一 周 的 学 习 就 可 以 胜任 。 开 
车 的 人 都 知道 ， 直 路 不 一 定 最 好 开 ， 有 点 弯 道 有 助 于 保持 精力 集中 。 做 流程 改进 有 时 也 有 类 似 的 特点 ， 开 始 制订 目标 、 确 定 责任 
归属 、 指 示 数 据 时 ， 只 考虑 怎样 对 解决 问题 有 利 ， 不 一 定 需 要 考虑 太 多 执行 上 的 可 行 性 ,执行 上 只 要 确认 没有 技术 上 无 法 攻克 的 
难关 即 可 。 


事实 上 在 这 个 项 目 中， 不仅 开 发 工程 师 遇 到 困难 ， 测 试 监 测 和 发 布 指示 数据 的 时 候 也 有 困难 ， 例 如 : 


:测试 轮 次 。 原 则 上 ， 产 品 代码 更 新 后 ， 如 果 必 须 取 得 配置 库 上 的 新 版 本 才能 继续 进行 测试 的 ， 测 试 轮 次 就 应 该 加 一 。 实 际 
操作 上 ， 是 统计 版 本 转 测 试 电子 流 中 ， 每 个 版 本 启动 转 测试 流程 的 次 数 。 


* 基本 功能 测试 通过 率 。 原 则 上 ， 是 统计 测试 用 例 基线 中 ， 每 轮 测试 “基本 用 例 集 ” 的 通过 率 。 实 际 操作 上 ， 是 统计 版 本 转 
测试 电子 流 中 ， 由 测试 工程 师 手 工 录入 的 通过 率 数 据 。 


这 样 的 统计 方法 ， 必 然 对 “ 转 测试 电子 流 ”进行 规范 。 这 个 电子 流 一 直 都 存在 ， 但 是 当 产 品质 量 正 常 时 ， 轮 次 和 通过 率 这 些 
数据 没有 什么 人 关注 ， 对 电子 流 的 使 用 和 数据 填写 也 就 没有 严格 要 求 。 在 本 项 目 实施 阶段 ， 通 过 人 为 加 强 对 电子 流 使 用 的 管理 ， 
达到 准确 采集 数据 的 目的 ， 当 项 目 目的 达成 以 后 ， 就 需要 转 为 监测 那些 获取 起 来 更 容易 的 数据 。 这 个 项 目 中 采用 的 做 法 是 ， 在 
QA 的 研发 项 目 报告 中 ， 增 加 “基本 功能 测试 通过 率 ”， 数 据 从 测试 基线 库 获 取 ; 还 有 原本 就 有 的 “测试 工作 量 占 研发 总 工作 量 
百分比 ”， 用 这 个 两 个 数据 来 进行 长 期 的 数据 监测 和 发 布 。 


测试 扮演 裁判 的 角色 ， 有 时 候 是 研发 经 理 明确 提出 的 要 求 。 比 如 开发 的 新 特性 质量 很 差 ， 基 本 功能 验证 经 常 不 通过 ， 频 繁 地 
返工 。 这 时 研发 经 理 说 “你 要 学 会 喊 停 ， 阻 止 版 本 继续 向 下 走 ， 而 不 是 给 你 什么 垃圾 你 都 接着 ”。 这 当然 是 对 的 ， 但 是 在 我 的 经 
验 中 ，“ 裁 判 ” 和 “绊脚石 ”之 间 只 有 一 席 之 隔 。 当 测试 频繁 地 挥动 “不 准 转 测试 ”的 大 棒 时 ， 就 把 自己 推 向 了 设计 、 开 发 团队 
的 对 立 面 。 所 以 当 基 本 功能 的 质量 出 现 务 化 ， 测 试 必须 喊 “ 停 ”的 时 候 ， 推 荐 的 做 法 是 一 边 阻止 一 边 给 出 建议 。 给 出 设计 、 开 
发 、 测 试 努 力 一 下 就 能 做 到 的 改进 措施 ， 让 下 次 完成 的 版 本 能 够 改善 ， 测 试 人 员 最 好 是 承担 具体 责任 的 参与 者 ， 避 免 做 一 个 站 在 


旁边 指 手 画 脚 的 “裁判 ”。 


所 以 ， 测 试 在 流程 运转 中 该 不 该 挥舞 大 棒 ? 该 挥舞 ， 而 且 挥舞 大 棒 应 该 追求 棒球 那 种 本 垒 打 的 效果 ， 而 不 是 像 打 地 鼠 一 样 经 
常 挥动 但 徒劳 无 功 。 


5.4 组织 建设 和 人 员 能 力 模型 


无 论 方法 、 工 具 、 流 程 准备 得 多 么 完善 ， 只 要 软件 测试 还 是 由 人 做 的 ， 那 么 测试 能 力 的 核心 还 是 “人 ” ， 只 有 测试 工程 师 掌 
握 了 这 些 技术 ， 具 备 了 相应 的 技能 和 素质 ， 才 能 真正 实现 能 力 服务 于 产品 。 只 有 测试 团队 相对 稳定 ， 才 能 使 能 力 得 到 传承 。 这 节 
主要 讨论 测试 工程 师 的 知识 结构 ， 组 织 结构 的 设置 通常 是 由 产品 的 特点 决定 的 ， 因 此 ， 只 会 在 最 后 介绍 一 下 我 们 的 软件 测试 团队 
大 概 的 组 织 结构 。 


5.4.1 测试 专家 角色 类 型 


在 我 们 的 产品 测试 团队 中 ， 测 试 工程 师 在 产品 研发 、 项 目 交付 、 技 术 和 管理 改进 等 活动 中 承担 了 各 种 各 样 的 工作 ， 通 过 完成 
这 些 工作 取得 了 成 果 ， 也 得 到 了 能 力 上 的 提升 。 从 这 些 年 进行 测试 工程 师 的 任职 资格 认证 来 看 ， 能 够 在 专业 领域 逐步 做 得 深入 ， 
最 终 出 类 拔 萃 的 ， 通 常 有 几 类 方向 ， 如 表 5-1 所 示 。 


表 5-1 测试 专家 角色 类 型 


额外 成 果 举 例 
对 测试 自动 化 、DFX 专项 测 
ee 根据 业务 的 需要 规划 测试 团 
试 、 测 斌 分析、 设计、 评 信 等 | 志 品 的 功能 、 性 能 、| 队 的 技术 能 力 建设 ， 并 负责 具 
测试 技术 专 才 | 方法 和 工具 比较 了 解 ， 与 业界 | “ es 人 


0 体 的 实施 、 推 广 工作 ， 实 现 研 
同行 有 分 享 和 互动 的 渠道 ， 了 
发 质量 和 效率 提升 


解 软件 测试 技术 趋势 和 新 思路 
擅长 系统 功能 测试 ， 也 熟悉 


系统 的 性 能 及 其 他 DFX 测试 。 
大 和 产品 系统 测试 、DFX 


除 测试 相关 的 能 力 以 外 ， 对 产 | 二 pr pp 既 熟 悉 产 品 又 熟悉 客户 ,成 

wm | 测试 、 J 质 |、 , i 

产品 业务 测试 | 品 的 架构 、 5 go 为 产品 交付 给 客户 调试 、 验 
ZY - TH A ZH 冰 | pe 里 了 全 DH 3 [a -oy -> ,Bt a 

专 才 过 往 质量 表现 等 很 熟悉 ， 对 产 收 、 上 线 时 的 核心 技术 骨干 


et “客户 视角 的 产品 质量 - 
品 领域 的 业务 术语 、 运 营 方式 、| 评估 ) (参见 9 章 “ 产 品 交 付 先 锋 ”) 
pr MD 丰 已 pi ib 1 “I 
商业 人 逻辑 、 客 户 的 组 织 架 构 、 


内 部 流程 等 也 比较 熟悉 


系统 功能 和 性 能 测试 的 E 路 产品 测试 策 分 析 ， 参 与 产 
(分 层 开发 产 i i 调试 及 测试 、DFX 验证 、 nn wi 
NN 好 基础 ， 除 此 以 外 ， 对 所 有 原 |  ，、，，  ， 、 品 集成 方案 设计 ， 参 与 集成 产 
品 的 ) 跨 产 品 业 子 产品 和 解决 方案 的 特性 、 业 配置 调 优 等 ， 是 集成 解 品 的 开发 过 程 质量 控制 ， 是 解 
务 测试 专 才 a 0 灾 | 决 方案 研发 团队 的 核心 | Dp 


务 流程 、 接 口 都 很 熟悉 ied ll Re 
收 、 上 线 时 的 核心 技术 骨干 
从 测试 过 程 中 发 现 测试 团队 


研发 项 目的 测试 组 长 ，| 或 研发 过 程 的 不 足 ， 或 者 测试 
上 让 好 的 测试 技术 基 而 ， 此 | ， 研 发 项 目的 测试 组 长 ，| 或 研发 过 程 的 不 足 ， 或 者 测试 


测试 项 目 管理 | /还 消长 沟通 和 项 目 管理 | 协调 各 类 资源 ， 帮 助 项 | 团队 与 外 部 团队 配合 的 问题 
专 才 gan “| 日 团队 在 要 求 的 时 间 内 、| 并 找到 方法 完成 改进 ; 


擅长 分 析 和 总 结 a 人 
| 高 质量 地 完成 测试 工作 从 项 目 中 总 结 成 功 经 验 ， 并 


完成 推广 


可 以 看 出 ， 每 类 专 才 承 担 的 主要 职责 不 同 ， 因 而 需要 的 知识 和 技能 也 就 不 同 ， 一 个 普通 的 测试 工程 师 很 难 做 到 方方面面 的 能 
力 都 具备 、 各 种 工作 都 能 胜任 ; 一 个 产品 团队 ， 也 不 一 定 需要 储备 所 有 类 别 的 人 才 。 因 此 ， 除 非 大 型 的 (超过 100 人 ) 、 分 层 开 
发 的 产品 的 测试 团队 ， 一 般 都 不 需要 具备 所 有 的 能 力 ， 从 个 人 看 、 从 测试 团队 整体 看 都 是 如 此 。 


处 在 起 步 阶段 的 产品 测试 团队 ， 首 先 出 现 的 一 般 是 产品 业务 测试 专 才 ， 其 他 类 别 的 专 才 会 在 测试 团队 逐渐 成 熟 的 过 程 中 慢 慢 
出 现 。 


分 层 开 发 的 解决 方案 产品 ， 由 于 产品 本 身 复 杂 、 测 试 过 程 管理 困难 ， 在 业务 流程 调试 及 测试 、DFX 验 证 、 性 能 调 优 、 测 试 策 
略 制 订 和 过 程 管理 等 日 常 测试 活动 中 就 需要 解决 大 量 的 问题 ， 形 成 相应 的 工作 成 果 ， 这 些 成 果 足 以 使 解决 方案 的 测试 工程 师 展现 
出 色 的 工作 能 力 ， 从 研发 团队 脱颖而出 。 


而 原子 产品 ， 一 般 认 为 有 成 熟 的 软件 测试 工程 方法 可 以 使 用 ， 开 展 工作 遇 到 的 困难 少 一 些 。 因 此 ， 想 要 脱颖而出 ， 成 长 为 团 
队 的 测试 技术 、 产 品 业务 测试 、 测 试 项 目 管理 的 骨干 ， 则 需要 在 相应 的 领域 有 比较 独特 的 贡献 。 


一 个 测试 工程 师 能 够 怎样 发 展 ， 与 个 体 的 机 遇 、 性 格 、 特 长 等 客观 因素 有 关 ， 不 完全 取决 于 个 人 意愿 ， 下 面 将 要 讲 到 的 “ 测 
试 工程 师 能 力 模型 ”给 出 了 一 个 比较 全 面 的 能 力 视图 ， 测 试 工程 师 可 以 根据 这 个 视图 发 现 自己 的 优势 。 


5.4.2 ”测试 工程 师 能 力 模型 


通过 对 各 个 级 别 、 负 责 各 种 不 同 工 作 的 测试 工程 师 的 技能 的 分 析 ， 结 合 与 测试 业界 同行 的 分 享 交 流 ， 测 试 人 员 的 素质 和 技能 
包括 以 下 方面 的 内 容 : 


1) 测试 专业 技能 。 主 要 指 测试 相关 的 方法 、 工 具 、 流 程 等 ， 此 外 还 包括 业界 的 技术 趋势 和 思潮 。 


2) 产品 知识 。 产 品 以 及 产品 所 处 的 解决 方案 的 架构 、 特 性 、 业 务 流程 、 过 往 质量 表现 、 过 往 重要 缺陷 等 ;产品 使 用 的 操作 
系统 、 数 据 库 的 基本 知识 和 主要 操作 ; 产品 需要 遵守 的 国际 、 国 内 、 行 业 标准 ; 产品 所 处 产业 或 行业 的 业务 术语 、 商 业 逻 辑 和 发 
展 趋势 。 


3) 思维 方式 。 在 测试 设计 、 执 行 ， 尤 其 是 探索 式 测 试 中 用 到 的 思维 方式 ， 如 批判 性 思维 、 逆 向 思维 、 横 向 思维 、 系 统 思 
维 、 发 散 思 维 、 极 限 思维 、 换 位 思维 、 换 轨 思 维 等 。 


4) 沟通 能 力 。 测 试 工 作 中 ， 在 需要 获取 必要 的 支持 、 上 下 游 合 作 ， 以 及 报告 缺陷 、 进 度 和 质量 信息 时 ， 都 需要 良好 的 听 、 
说 、 写 技巧 ， 因 此 需要 学 习 一 些 沟通 技巧 提高 这 方面 的 能 力 。 


5) 质量 分 析 方 法 。 主 要 是 在 产品 缺陷 和 过 程 问题 的 分 析 中 用 到 的 方法 ， 如 柏拉图 (排列 图 ) 、 鱼 骨 图 、 层 别 法 、 散 布 图 
(四 象限 ) 、 亲 和 图 等 。 


6) 软件 工程 方法 。 能 理解 UML 图 ; 了 解 需求 分 析 和 设计 的 常用 方法 ， 常 用 的 设计 模式 ;掌握 产品 使 用 的 编程 语言 。 


每 个 方面 的 内 容 索 引 如 图 5-6 所 示 。 


软件 需求 分 析 、 设 计 和 开发 


产品 及 测试 知识 个 人 能 力 


质量 分 析 方法 


影响 力 和 沟通 


UML 


需求 分 析 方 法 HH 软件 需求 分 析 、 设 计 和 开发 


面向 对 象 程序 设计 思想 
常用 编程 语言 、 常 用 设计 模式 


产品 及 测试 知识 
影响 力 和 沟通 


质量 分 析 方 法 
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0S、DB 
平台 、 产 品 、 解 决 方案 
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产品 历史 质量 表现 、 过 往 问题 日 产品 及 测试 知识 素质 模型 
测试 流程 、 技 术 、 工 具 
相关 标准 ISO、IEEE 等 


品 、 业 界 技 术 趋 势 
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柏拉图 一 一 寻找 重要 的 少数 
鱼 骨 图 一 一 进行 原因 分 析 


层 别 法 一 一 分 门 别 类 的 归纳 统计 月 质量 分 析 方 法 


散布 图 和 四 象限 一 一 寻找 强 相关 因素 
亲 和 图 一 一 头脑 风暴 + 归纳 
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图 5-6 ”测试 工程 师 能 力 模 型 
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和 上 下 游 形 成 良好 合作 关系 


mene 


影响 力 和 沟通 


图 5-6 ”〈 续 ) 
一 个 测试 工程 师 不 可 能 每 个 方面 都 精通 ， 需 要 根据 自己 目前 的 角色 职责 和 长 处 来 选择 加 强 哪些 方面 ， 哪 些 只 需要 了 解 。 


例如 “产品 业务 测试 专 才 ” 的 成 长 路 径 可 能 如 图 5-7 所 示 。 


能 力 养 成 影响 力 发 挥 


广度 拓展 


1 独立 工作 @ 测试 工程 0 专项 专家 : 在 测试 
Re ® 测试 工程 o 测试 组 织 和 流程 工程 的 一 个 或 多 个 
入 门 。* 测 试 I 程 o 场景 测试 、 镜 像 o 基础 设施 规划 和 方面 做 精 、 做 深 ， 
e 测试 工程 9 测试 设计 方法 选择 测试 建设 E 够 解决 多 个 产品 
0 功能 等 基础 内 容 测 应 用 o 测试 策略 和 计划 o 工具 规划 和 建设 在 这 个 领域 的 各 类 
试 方法 0O MBT、 负 问 设 计 o 测试 评估 O 问题 
o 开发 流程 、 测 试 o 探索 测试 o 度量 和 过 程 管理 0 技术 专家 : 融合 业 
过 程 o 基本 的 特性 质量 o 测试 环境 管理 个 人 能 力 界 技术 实践 ， 带 领 
o 动 、 静 态 测试 方法 评估 o DFX、 资 料 等 专项 | | ”0 系统 思维 专项 技术 发 展 ， 其 
o 传统 测试 设计 方法 9 缺陷 分 析 、 根 因 测试 o 质量 分 析 方 法 至 做 到 业界 领先 
9 测试 执行 和 自动 化 分 析 es o 产品 特性 档案 0 思想 家 : 对 领域 的 
o 环境 搭建 和 工具 0 参与 基础 设施 建设 o 业界 趋势 问题 提出 见解 ， 有 
使 用 0 一 致 性 、IOT 等 e 个 人 能 力 o 需求 、 设 计 、 理论 上 的 突破 ， 能 
四 0 产品 知识 、 标 准 开发 流出 够 从 根本 上 解决 存 
e 个 人 能 力 规范 o 影响 力 
。 个 人 能 o 特性 相关 产品 知识 | | “ 素质 模型 形成 “| | 。。 总 结 和 获取 支持 | | 
o 基本 产品 知识 o 思维 训练 9 需求 、 设 计 、 开 发 
o 0S、DB、 商 用 o 初步 沟通 能 力 训练 方法 
部 件 知识 o 质疑 精神 培养 9 沟通 能 力 
o 初步 思维 训练 o 软件 设计 方法 


= 品质 量 保障 e 测试 专家 


e@ 特性 质量 保障 


图 5-7 产品 业务 测试 专 才 的 能 力 发 展 


【新 人 】 作 为 一 个 初 入 行 的 测试 工程 师 ， 在 师傅 的 带领 下 开始 切入 测试 工作 ， 通 常 新 人 都 是 从 功能 测试 开始 的 ， 也 许 是 执行 
已 经 写 好 的 用 例 ， 也 许 是 测试 比较 简单 的 特性 。 此 时 ， 需 要 尽快 搭建 测试 知识 的 框架 ， 掌 握 测 试 的 理念 和 基本 技能 ， 同 时 还 需 
开始 熟悉 产品 。 


为 了 能 够 独立 承担 测试 任务 ， 需 要 掌握 以 下 技能 或 知识 : 
“ 测试 专业 技能 。 基 本 的 功能 测试 设计 和 执行 ; 按照 样 例 或 模板 编写 自动 化 用 例 ; 环境 搭建 ; 测试 相关 工具 的 使 用 等 。 
: 产品 知识 。 产 品 的 基础 知识 ; 所 测试 的 特性 ; 产品 使 用 的 OS、DB 和 商用 部 件 的 常用 操作 等 。 


这 些 知识 和 技能 是 完成 眼前 工作 所 需要 的 。 学 习 方法 不 仅 包 括 参加 培训 、 阅 读 资料 ， 还 需要 在 工作 中 不 断 实 践 ， 达 到 掌握 并 
熟练 应 用 的 程度 。 


为 了 给 今后 的 发 展 打 好 基础 ， 这 个 阶段 新 人 还 需要 开始 搭建 测试 基础 知识 的 框架 ， 最 基础 的 有 : 
- 测试 专业 技能 。 常 用 的 动 、 静 态 测试 方法 ;传统 测试 设计 方法 ; 测试 执行 和 自动 化 工具 。 
* 软件 工程 。 研 发 流程 ， 测 试 流程 。 
. 产品 知识 。 产 品 主要 编程 语言 的 基本 语法 和 设计 模式 (能 读 懂 ) 。 


这 些 知识 主要 是 帮助 形成 准确 的 概念 ， 以 便 在 今后 需要 的 时 候 能 够 找到 切入 点 。 由 于 刚刚 入 行 ， 基 础 知识 主要 围绕 功能 测 
试 ， 这 些 知 识 主要 是 通过 培训 和 资料 学 习 ， 并 没有 全 部 实践 和 应 用 。 


在 新 人 阶段 ， 除 了 基础 技术 方面 ， 理 解 测试 基本 理念 、 学 习 测 试 的 基本 思维 方法 也 很 重要 。 测 试 的 基本 理念 如 : 什么 是 测 


试 ; 测试 的 目的 和 价值 ; 软件 测试 与 质量 保证 的 关系 ; 测试 的 基本 原则 等 。 思 维 方法 如 : 逆向 思维 、 横 向 思维 、 极 限 思 维 等 。 这 
些 也 是 专业 的 软件 测试 工程 师 的 基础 能 力 的 一 部 分 ， 主 要 影响 测试 工程 师 解决 问题 时 采用 的 方式 。 


【独立 工作 】 经 过 最 初 的 导入 和 训练 后 ， 此 时 测试 工程 师 已 经 具备 独立 承担 特定 工作 的 能 力 ， 这 可 能 是 某 些 特性 的 测试 ， 可 
能 是 某 种 DFX 测 试 ， 也 可 能 是 研发 和 测试 中 的 某 专项 工作 。 在 不 断 完 成 各 种 工作 的 过 程 中 ， 测 试 工程 师 的 知识 体系 不 断 扩展 ， 并 
且 形 成 了 自己 在 技术 或 管理 方面 的 特长 。 


在 特性 测试 的 过 程 中 ， 这 类 人 员 需 要 掌握 的 知识 和 技能 


测试 技术 。 测 斌 分析、 设计 方法 和 选择 应 用 ; 特性 功能 以 外 的 测试 类 型 ， 如 性 能 、 兼 容 性 、 一 致 性 、IOT 等 ;) 特性 的 质量 
评估 维度 和 方法 ; 缺陷 根 因 分 析 。 


: 产品 知识 。 产 品 架 构 ; 产品 所 在 业务 领域 的 相关 知识 ; 特性 应 用 场景 。 


这 些 知识 和 技能 主要 是 让 测试 工程 师 能 够 有 条 理 、 高 质量 地 完成 特性 的 测试 任务 。 如 果 承 担 的 是 性 能 或 其 他 DFX 测 试 、 研 发 
测试 的 某 些 专项 工作 ， 为 高 效 、 高 质量 完成 工作 的 那些 技能 也 是 需要 掌握 的 。 


测试 工程 师 不 仅 需 要 完成 特性 或 DFX 测 试 的 工作 ， 还 需要 解决 影响 测试 质量 、 效 率 和 成 本 的 问题 ， 事 实 上 ， 优 秀 的 测试 工程 
师 都 是 在 解决 问题 的 过 程 中 成 长 起 来 的 。 因 此 ， 除 了 完成 工作 任务 需要 用 到 的 知识 和 技能 ， 测 试 工程 师 需要 有 意识 、 主 动 地 拓展 
技术 视野 ， 做 一 些 额外 的 储备 。 包 括 技术 方面 的 ， 如 : MBT、 负 向 设计 (从 缺陷 分 析 、 履 盖 分 析出 发 ， 进 行 针 对 性 的 测试 用 例 
设计 ) 、 探 索 式 测试 、 自 动 化 测试 、DFX 测 试 等 ， 了 解 这 些 技术 的 概念 、 优 势 、 约 束 、 常 用 工具 。 也 包括 组 织 或 流程 方面 的 ， 
如 : 友 商 和 业界 领先 企业 ， 他 们 的 测试 团队 是 怎么 开展 工作 的 ， 学 习 优 秀 的 案例 。 这 样 ， 当 遇 到 问题 或 者 有 机 会 进行 技术 能 力 建 
设 时 ， 才 能 够 用 较 小 的 代价 找到 较 好 的 方法 。 


在 独立 承担 各 种 测试 和 改进 任务 的 过 程 中 ， 除 了 知识 和 技能 得 到 丰富 ， 思 维 方法 也 得 到 了 训练 。 典 型 的 如 : 


* 系统 思维 。 对 问题 本 身 以 及 解决 方案 ， 都 采用 模型 或 结构 对 相关 信息 进行 系统 地 归 整 ， 让 问题 及 其 解决 方案 都 能 完整 、 全 


面 地 呈现 。 


` 质疑 思维 (批判 性 思维 ) 。 通 过 不 断 地 设 疑 求证 ， 和 剥 丝 抽 茧 分解 问 题 ， 找 到 真正 的 症结 和 解决 方法 。 


* 换 位 思维 。 为 了 找 出 有 问题 的 点 ， 在 测试 中 站 在 用 户 的 角度 审视 产品 特性 ， 在 改进 项 目 中 站 在 其 他 利益 相干 人 的 角度 上 审 


视 改 进 方案 。 


测试 工程 师 在 产品 测试 过 程 中 需要 尽 可 能 完整 地 对 需求 、 设 计 甚至 代码 进行 验证 ， 在 面 对 测 试 过 程 问 题 和 产品 缺陷 时 需要 尽 
可 能 找到 真正 有 效 的 解决 方法 。 正 是 这 样 的 要 求 使 得 测试 工程 师 得 到 了 独特 的 思维 方法 的 训练 。 在 这 些 思维 方法 中 ， 系 统 思 维 是 
最 值得 注意 的 。 通 常 认为 测试 工程 师 的 知识 结构 是 “ 宽 波 段 、 低 振幅 ”的 ， 宽 波段 就 是 指 测试 工程 师 的 知识 面 要 宽 。 知 识 面 宽 除 
了 涉猎 的 范围 广 之 外 ， 还 应 该 有 系统 的 、 结 构 化 的 整理 ， 使 这 些 知识 在 工作 中 得 到 更 有 效 的 应 用 。 


测试 工程 师 的 职业 发 展 ， 在 这 期 间 开 始 分 化 了 。 每 个 测试 工程 师 在 独立 承担 各 种 工作 的 过 程 中 逐渐 形成 自己 独特 的 发 展 方 
向 ,测试 工程 师 在 这 个 阶段 不 妨 多 尝试 各 种 不 同 的 任务 ， 不 仪 包括 不 同类 型 的 测试 任务 ， 还 有 各 种 与 产品 研发 、 产 品 交 付 有 关 的 
其 他 类 型 的 任务 。 无 论 分 配 到 的 任务 看 上 去 是 有 趣 还 是 枯燥 ， 争 取 用 心 去 做 ， 因 为 尝试 的 过 程 不 仅 是 找到 擅长 方向 的 过 程 ， 同 时 
也 是 知识 广度 拓展 的 过 程 。 我 的 感悟 是 : 当下 工作 中 很 重要 的 基石 ， 可 能 就 是 在 很 久 以 前 的 一 个 任务 中 了 解 到 的 不 起 眼 的 信息 。 


影响 力 构建 】 测 试 工程 师 在 成 功 地 完成 各 种 工作 后 ， 由 于 过 程 中 表现 出 来 的 独特 价值 和 视角 ,会 在 测试 团队 和 产品 团队 成 
员 中 取得 认可 和 信任 ， 从 而 有 机 会 负责 更 复杂 、 更 重要 的 工作 ， 进 而 逐步 成 长 为 测试 团队 的 核心 角色 ， 并 在 研发 团队 占据 一 席 之 
地 。 


作为 团队 核心 的 测试 工程 师 ， 在 产品 测试 方面 ， 其 职责 主要 是 制订 测试 策略 、 掌 控 测 试 过程 、 根 据 测 试 结果 对 产品 及 其 研发 
过 程 进行 质量 评估 ， 最 终 达 成 产品 的 测试 目标 乃至 质量 目标 。 在 测试 组 织 方面 ， 其 职责 主要 是 稳定 团队 、 改 进 技术 、 优 化 流程 ， 
最 终 达 成 测试 活动 乃至 研发 的 能 力 提升 。 


为 了 制订 合理 的 测试 策略 ， 需 要 掌握 的 知识 和 技能 如 : 测试 策略 的 分 析 过 程 和 内 容 ，RBT 方 法 ， 这 是 制订 项 目的 测试 策略 所 
需要 的 基础 能 力 。 测 试 策略 的 主要 作用 是 通过 对 各 种 测试 类 型 、 各 种 测试 用 例 设计 方法 的 合理 组 合 ， 经 济 、 高 质量 地 达成 产品 测 
试 目标 。 因 此 分 析 过 程 中 除了 需要 方法 ， 还 依赖 分 析 者 丰富 的 背景 知识 ， 例 如 : 


` 项 目 目标 和 路 标 。 测 试 策略 根据 各 个 阶段 研发 的 路 标 和 目标 ， 确 定 相 应 的 测试 活动 及 其 目标 和 完成 标准 。 因 此 需要 了 解 在 
软件 研发 各 环节 的 质量 标准 ， 及 其 相应 测试 活动 的 质量 标准 。 


“ 产品 的 背景 知识 。 要 使 测试 更 经 济 ， 首 先 需 要 在 测试 策略 上 将 测试 内 容 分 出 重要 等 级 ， 避 免 在 不 重要 的 测试 上 投入 太 多 资 
源 ， 因 此 需要 掌握 产品 相关 的 客户 和 领域 知识 、 标 准 规范 等 。 


` 测试 技术 的 背景 知识 。 要 使 测试 经 济 、 高 效 ， 需 要 针对 不 同 验证 目的 选择 性 价 比 最 高 的 测试 类 型 和 测试 方法 。 因 此 ， 测 试 
策略 制定 者 需要 了 解 各 类 测试 能 实现 的 覆盖 、 能 到 达 的 验证 目的 。 这 里 的 “各 类 测试 ”， 主 要 参见 3.2.3 节 “扩展 测试 类 型 ”中 列 


出 的 功能 和 DEFX 测 试 ， 此 外 还 有 根据 产品 特点 扩展 的 测试 ， 比 如 : 应 用 场景 测试 、 客 户 体验 测试 等 。 


* 软件 工程 的 背景 知识 。 要 使 测试 经 济 、 高 效 ， 不 仅 要 为 测试 选择 合适 的 技术 ， 还 要 为 测试 活动 选择 合适 的 时 机 。 因 此 需要 
了 解 软 件 工程 的 基本 概念 ， 也 需要 了 解 本 产品 开发 团队 在 需求 、 设 计 、 开 发 中 惯用 的 方法 。 


为 了 使 测试 按照 既定 的 策略 和 计划 完成 ， 除 了 基本 的 工作 量 估 计 、 计 划 制 订 的 方法 和 工具 外 ， 更 重要 的 是 进行 测试 过 程 的 管 
理 ， 这 需要 测试 工程 师 做 到 以 下 3 点 : 


1) 在 项 目 过 程 中 ， 观 察 进展 、 发 现 和 规避 风险 。 在 测试 过 程 中 定期 或 不 定期 观察 和 了 解 过 程 是 否 顺利 、 方 法 是 否 可 行 、 方 
句 是 否 正确 、 有 无 出 现 异 常 。 一 旦 风险 暴露 或 问题 发 生 ， 需 要 及 时 停止 、 调 整 或 纠正 相关 活动 ， 避 免 风 险 或 问题 影响 到 整个 项 目 
的 进度 和 质量 。 这 主要 用 到 的 是 过 程 管理 、 风 险 管理 ， 质 量 管理 的 方法 。 当 然 ， 在 选择 风险 的 规避 方法 时 ， 丰 富 的 测试 技术 方面 
的 积累 也 是 必 不 可 少 的 。 


2) 在 项 目 结束 后 ， 总 结 过 程 中 的 得 失 并 在 下 一 轮 中 改进 。 这 是 成 为 一 个 优秀 的 测试 核心 骨干 不 可 缺少 的 一 环 一 一 通过 不 断 


的 自我 反省 ， 提 高 自己 和 团队 的 能 力 。 研 发 活动 的 改进 ， 通 常用 到 的 是 质量 管理 、 过 程 管 理 的 相关 方法 和 能 


3) 在 测试 活动 结束 后 的 测试 评估 中 ， 需 要 根据 软件 的 质量 模型 ， 对 照 产品 的 质量 要 求 ， 采 用 测试 过 程 管理 中 采集 到 的 数 
据 ， 进 行 基于 客观 实事 的 产品 质量 和 研发 过 程 质量 评估 。 需 要 用 到 的 主要 是 质量 管理 的 方法 和 能 


作为 团队 核心 的 测试 工程 师 ， 在 稳定 团队 、 改 进 技 术 、 优 化 流程 和 实现 团队 能 力 提 升 时 所 需要 的 能 力 包括 测试 技术 、 软 件 工 
程 、 团 队 管理 等 各 个 方面 。 这 是 本 章 的 主要 内 容 ， 这 里 不 再 展开 介绍 。 


成 长 为 测试 核心 角色 的 路 径 比 较 常见 的 有 两 条 线 : 


* 管理 线 。 带 领 团队 完成 产品 的 单个 项 目 乃 至 所 有 项 目的 测试 ， 或 者 带领 团队 完成 产品 交付 。 在 我 们 的 测试 团队 中 ， 单 个 项 
目的 测试 主管 称 为 TL， 整 个 测试 团队 的 主管 称 为 TM。 


.技术 线 。 负 责 产 品 项 目 在 测试 技术 上 的 把 控 ， 带 领 团队 完成 某 项 技术 改进 ， 甚 至 负责 整个 产品 的 测试 技术 能 力 发 展 。 在 我 
们 的 测试 团队 中 ， 将 主管 技术 的 测试 工程 师 统 称 为 TSE。 


管理 线 和 技术 线 的 测试 工程 师 在 产品 测试 、 测 试 组 织 能 力 建设 的 各 项 工作 中 相互 配合 ， 各 有 侧重 ， 如 图 5-8 所 示 。 


管理 线 技术 线 


测试 组 织 
方面 的 职责 


对 项 目 负责 


产品 测试 


方面 的 职责 


图 5-8 管理 线 和 技术 线 的 分 工 合作 


TL 主 要 对 项 目 负责 。 在 项 目的 测试 活动 中 ， 其 主要 职责 是 掌控 测试 过 程 ， 协 助 项 目 TSE 分 析 测 试 策略 ， 并 与 项 目 TSE 共 同 评 
佑 产品 质量 。 在 测试 组 织 建设 中 ， 其 主要 职责 是 通过 绩效 管理 、 团 队 建设 等 手段 实现 团队 的 稳定 和 发 展 ， 为 项 目 TSE 实 施 技术 改 
进 提供 支持 ， 并 与 项 目 TSE 一 起 分 析 问 题 优化 测试 过 程 。 


项 目 TSE 主 要 对 技术 负责 。 在 项 目的 测试 活动 中 ， 其 主要 职责 是 制订 和 落实 测试 策略 ， 与 TL 共 同 评估 产品 质量 ， 协 助 TL 发 现 
和 控制 风险 。 在 测试 组 织 建设 中 ， 其 主要 职责 是 组 织 实施 技术 和 流程 改进 。 


TM、 产 品 TSE 对 产品 的 所 有 项 目 和 测试 团队 整体 负责 。TM 主 要 从 资源 管理 的 角度 开展 工作 ， 产 品 TSE 主 要 从 测试 技术 架构 
的 角度 开展 工作 。 


测试 工程 师 无 论 是 走 管理 线 还 是 技术 线 ， 昌 然 各 有 侧重 ， 但 都 有 技术 能 力 和 管理 能 力 两 方面 的 要 求 ， 基 层 测试 团队 的 管理 者 
如 果 对 测试 技术 没有 广泛 的 了 解 ， 在 处 理 风 险 和 问题 时 就 无 法 给 团队 成 员 正 确 的 建议 ; 技术 专家 如 果 不 依靠 团队 只 能 单打 独 斗 ， 
则 不 可 能 实现 测试 团队 在 能 力 上 革新 。 当 然 ， 这 不 是 说 技术 和 管理 都 要 很 强 。 走 管理 线 的 测试 工程 师 ， 在 技术 方面 可 能 
是 “ 广 ” 但 不 “ 深 ”， 听 的 看 的 多 ， 实 际 操作 的 少 ， 重 点 是 掌握 各 个 技术 方法 的 优势 、 适 用 条 件 等 。 走 技术 线 的 测试 工程 师 ， 在 
管理 方面 可 能 是 重 管 “ 事 ” 轻 管 “人 ” ， 重 点 是 计划 的 控制 ， 以 及 对 实施 过 程 和 结果 质量 的 管控 。 


走 管理 线 发 展 的 测试 工程 师 ， 最 初 是 在 完成 任务 的 过 程 中 ， 表 现 出 较 好 的 组 织 和 计划 管控 能 力 ; 进一步 发 展 为 可 以 带领 版 本 
或 项 目 团队 ， 负 责 一 个 版 本 或 项 目的 全 部 测试 任务 ;再 进一步 是 带领 整个 测试 团队 ， 对 产品 所 有 与 测试 相关 的 工作 负责 。 在 这 个 
过 程 中 ， 随 着 管理 人 数 的 增加 ， 管 理 者 的 重心 需要 由 管 “ 事 ”逐渐 转换 为 管 “ 人 ” ; 随 着 责任 范围 的 扩大 ， 管 理 者 的 重心 需要 由 
关注 “测试 覆盖 目标 ”逐渐 转换 为 天 注 “ 产 品质 量 目标 ”; 由 致力 于 提升 “测试 能 力 ” 逐 渐 转 换 为 提升 “研发 质量 和 效率 ” ( 参 
见 第 亚 部 分 “展露 锋芒 ”) 。 这 些 “ 转 变 ” 是 测试 工程 师 在 研发 团队 建立 影响 力 ， 做 好 管理 者 的 关键 。 


走 技术 线 发 展 的 测试 工程 师 ， 最 初 是 在 完成 任务 的 过 程 中 ， 表 现 出 对 技术 和 方法 出 色 的 理解 与 应 用 ; 进一步 发 展 成 为 项 目 
TSE， 负 责 测试 策略 和 主要 测试 方案 的 拟定 ， 或 者 成 为 测试 团队 某 个 技术 方向 (如 性 能 测试 专项 ) 的 专项 TSE， 负 责 所 有 项 目 在 


这 个 技术 方向 的 方案 制订 和 测试 ; 再 进一步 是 成 为 整个 测试 团队 的 技术 核心 ， 即 产品 TSE， 负 责 测试 甚至 研发 团队 测试 能 力 提升 
的 方案 设计 和 实施 。 技 术 线 的 测试 工程 师 虽 然 始 终 聚 焦 技 术 ， 但 受 其 工作 影响 的 人 也 是 不 断 增加 的 ， 在 这 个 过 程 中 ，TSE 的 重心 
需要 由 关注 “技术 ”逐渐 转换 为 关注“ 架构 ”; 对 技术 和 方法 由 见 招 拆 招 的 “应 用 ”逐渐 转换 为 可 复制 、 可 持续 生效 的 “ 固 
化 ”。 同 时 ， 和 管理 者 一 样 ，TSE 也 需要 逐渐 开始 关注 “产品 质量 目标 ”和 “研发 质量 和 效率 ”， 与 测试 管理 者 一 起 ， 把 影响 力 
扩散 到 测试 环节 以 外 。 


无 论 管 理 线 还 是 技术 线 ， 都 提 到 了 在 研发 团队 甚至 产品 团队 建立 影响 力 ， 这 是 因为 测试 人 员 在 很 多 时 候 都 需要 在 研发 甚至 产 
品 团队 具有 话语 权 。 比 如 版 本 当前 已 经 积累 了 大 量 未 修改 的 缺陷 ， 如 果 测 试 人 员 有 话语 权 ， 可 以 要 求 修 改 重 要 缺陷 之 后 再 进行 下 
一 步 的 特性 开发 ;如果 测试 人 员 没有 话语 权 ， 就 只 能 被 发 布 计划 推荐 在 后 面 收拾 烂 推 子 。 我 们 的 测试 团队 中 有 一 个 性 能 测试 
TSE， 每 当 有 面向 重要 客户 发 布 的 版 本 ， 产 品 经 理 都 要 看 到 他 出 具 的 性 能 测试 报告 才 会 放心 ; 有 个 项 目 TL， 研 发 经 理会 根据 他 的 
意见 决定 版 本 是 按时 发 布 还 是 推迟 发 布 ， 这 些 都 是 测试 工程 师 具 备 影响 力 的 案例 。 


影响 力 或 者 话语 权 是 建立 在 信任 基础 上 的 ， 而 信任 则 是 通过 不 断 完成 高 难度 的 挑战 逐渐 累积 的 。 仅 仅 实 现 “ 扫 门 前 雪 ”， 在 
研发 团队 能 建立 的 信任 比较 有 限 ， 想 要 建立 更 充分 的 信任 ， 需 要 多 关注 第 亚 部 分 “展露 锋芒 ”中 的 内 容 。 


在 不 断 扩大 影响 力 的 阶段 ， 良 好 的 沟通 能 力 是 必 不 可 少 的。 无 论 是 对 团队 负责 的 管理 者 ， 还 是 对 技术 发 展 负责 的 技术 专家 ， 
都 是 需要 组 织 一 个 团队 完成 任务 ， 对 下 需要 沟通 团队 成 员 ， 对 上 需要 沟通 上 级 领导 ， 横 向 需要 沟通 各 利益 相干 人 和 赞助 人 。 沟 通 
能 力 不 仅 仅 是 口才 ， 更 是 系统 化 的 思维 、 结 构 化 的 表述 (参见 9.1.2 节 “让 问题 和 解决 方法 具备 说 服 力 ”) 。 


工作 中 不 断 强化 的 思维 训练 ， 可 以 在 很 多 地 方 帮助 测试 工程 师 在 研发 团队 中 具有 独特 的 存在 价值 : 测试 工程 师 常常 倾向 于 系 
统 化 地 搜集 信息 ， 挖 掘 问题 的 本 质 ; 从 逆向 、 横 向 、 极 限 等 多 个 角度 对 方案 提出 挑战 ， 这 些 对 于 分 析 问 题 、 找 到 可 行 方案 是 大 有 
神 益 的 。 但 是 测试 人 员 的 职业 习惯 也 有 不 利 的 景 习惯 于 只 看 到 问题 ， 人 们 常常 并 不 喜欢 只 听 问 题 ， 而 是 更 喜欢 在 听 到 问 
题 的 同时 ， 也 听 到 解决 建议 。 因 此 ， 采 用 问题 + 建议 的 方式 提出 自己 的 意见 ， 是 测试 工程 师 需要 掌握 的 常用 工作 技巧 之 一 。 


这 里 只 以 测试 技术 专家 为 例 ， 说 明 测 试 工程 师 的 能 力 养 成 ， 对 不 同 专长 的 测试 工程 师 ， 核 心 能 力 是 有 所 不 同 的 ， 如 表 5-2 所 


个 。 


表 5-2 测试 专家 的 核心 能 力 


测试 技术 专 才 产品 业务 测试 专 才 | 跨 产 品 业务 测试 专 才 | 测试 项 目 管理 专 才 


测试 专业 技能 


产品 知识 


软件 工程 方法 
质量 分 析 方 法 
沟通 能 力 
思维 方式 


在 我 们 的 产品 团队 中 ， 测 试 工程 师 还 有 很 大 机 会 成 为 优秀 的 质量 工程 师 、 服 务工 程 师 、 市 场 技术 人 员 、 产 品 经 理 、 产 品 业务 
专家 等 ， 由 于 可 能 性 太 多 ， 无 法 再 一 一 剖析 其 能 力 模型 ， 总 之 相应 的 能 力 要 求 ， 依 赖 于 团队 结构 、 角 色 主 要 职责 的 需要 ， 同 时 也 
和 产品 的 特点 有 关 。 


此 外 ， 需 要 特别 说 明 的 是 编码 能 力 ， 现 在 这 几乎 是 测试 工程 师 的 必 备 能 力 ， 通 过 分 析 测 试 工程 师 的 招聘 要 求 可 以 发 现 ， 目 前 
超过 80% 的 软件 公司 ， 招 聘 测试 工程 师 时 提出 开发 能 力 的 要 求 。 如 图 5-9 所 示 。 这 一 方面 是 自动 化 测试 的 需要 ; 另 一 方面 ， 作 为 
一 个 软件 研发 的 从 业者 ， 具 备 一 定 的 开发 技能 对 于 分 析 缺 陷 的 规律 、 理 解 产 品 架 构 、 找 到 质量 弱点 都 是 很 有 帮助 的 。 
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图 5-9 ”测试 工程 师 招 聘 中 要 求 有 开发 能 力 的 公司 比例 


很 多 测试 工程 师 是 非常 “畏惧 ”编码 的 ， 以 我 的 经 验 ， 这 种 畏惧 更 多 的 是 一 种 心理 上 的 障碍 ， 并 非 因为 基本 的 编码 能 力 有 多 
么 难以 掌握 。 

最 后 ， 特 别 强 调 一 项 能 力 ， 这 也 是 测试 工程 师 最 基础 的 能 力 : 英语 阅读 。 测 试 领域 大 量 的 新 技术 资料 都 是 英文 的 ， 翻 译 成 中 
文 的 多 数 是 入 门 书 籍 ， 因 此 ， 想 要 获取 更 广泛 、 更 深入 的 技术 资料 ， 英 语 阅读 能 力 是 必须 具备 的 。 


5.4.3 ”组 织 结构 要 与 能 力 现状 匹配 


测试 工程 师 ， 无 论 能 力 高 低 、 资 历 深浅 ， 都 是 属于 某 一 个 或 大 或 小 团队 ， 这 个 团队 就 是 绝 大 部 分 测试 工程 师 最 重要 的 工作 环 
境 和 发 展 平台 。 因 此 ， 测 试 的 组 织 结构 对 于 研发 整体 的 测试 能 力 的 发 展 有 决定 性 影响 。 


首先 ， 讨 论 一 个 宏观 的 问题 : 测试 是 否 独立 于 开发 自 成 团队 ， 这 是 测试 领域 争论 的 比较 多 的 问题 之 一 。 有 的 人 认为 测试 必须 
成 立 独立 团队 ， 否 则 不 可 能 有 客观 、 独 立 的 立场 。 有 的 人 认为 测试 无 需 成 立 独立 团队 ， 测 试 工 作 就 是 开发 工作 的 一 部 分 ， 在 统一 
团队 中 调度 起 来 方便 。 有 的 认为 采用 敏捷 开发 模式 需要 设计 、 开 发 、 测 试 的 统一 团队 ; 采用 CMM 开 发 模式 ， 则 开发 、 测 试 可 以 
是 各 自 独立 的 团队 。 


我 认为 ， 测 试 是 否 成 立 独立 团队 ， 首 先 取决 于 是 否 有 继续 发 展 测试 能 力 的 必要 。 研 发 团队 的 组 织 结构 大 体 上 是 两 种 模式 : 和 矩 
阵 结构 和 树 形 结构 ， 和 矩阵 结构 又 分 为 以 产品 导向 为 主 的 和 矩阵 结构 和 以 分 工 导 向 为 主 的 和 矩阵 结构 。 


纯粹 树 形 结构 的 研发 团队 ， 如 图 5-10 所 示 。 产 品 研发 部 按 模块 或 特性 划分 为 若干 开发 组 ， 系 统 工程 师 、 开 发 工程 师 、 测 试 


工程 师 全 部 归属 于 各 开发 组 ， 由 开发 组 主管 全 权 负 责 所 有 工程 师 的 任务 管理 、 人 员 管 理 。 
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图 5-10 研发 团队 的 树 形 结构 


在 矩阵 结构 的 研发 团队 中 ， 产 品 研发 部 按 模块 或 特性 划分 为 若干 开发 组 ， 系 统 工程 师 、 开 发 工程 师 、 测 试 工程 师 除 了 服务 于 
各 开发 组 ， 所 有 的 测试 工程 师 整 体 上 还 组 成 了 一 个 测试 部 (资源 部 门 ) ， 开 发 工程 师 、 系 统 工程 师 也 是 类 似 。 原 则 上 ， 开 发 组 主 
管 负责 任务 管理 ;资源 部 门 ( 指 图 中 的 系统 部 、 开 发 部 、 测 试 部 ) 主管 负责 人 员 管 理 。 在 矩阵 结构 的 研发 团队 中 ， 如 果 工程 师 所 
属 的 实体 组 织 是 开发 组 ， 则 是 以 产品 导向 为 主 的 矩阵 结构 ， 如 图 5-11 所 示 。 如 果 工 程 师 所 属 的 实体 组 织 是 资源 部 门 ， 则 是 以 分 
工 导 向 为 主 的 矩阵 结构 ， 如 图 5-12 所 示 。 


外 
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图 5-11 以 产品 导向 为 主 的 矩阵 结构 


图 5-12 ”以 分 工时 向 为 主 的 和 矩阵 结构 


和 矩阵 结构 以 产品 导向 为 主 时 ， 工 程 师 的 绩效 考核 结果 以 开发 组 主管 的 意见 为 主 ， 人 员 的 日 常 管理 常常 也 以 开发 组 主管 为 主 。 


资源 部 门 主管 的 主要 职责 是 规划 和 实施 工程 师 的 能 力 发 展 ， 其 他 人 员 管 理 方面 的 作用 较 弱 。 这 种 组 织 模式 和 树 形 结构 的 模式 比较 
类 似 ， 相 当 于 为 树 形 结构 的 研发 部 门 加 了 一 个 能 力 方面 的 辅助 。 


和 矩阵 结构 以 分 工 导 向 为 主 时 ， 工 程 师 的 绩效 考核 结果 由 资源 部 门 参 考 开发 组 主管 的 意见 给 出 ， 人 员 管 理 以 资源 部 门 主管 为 
主 。 这 种 组 织 结构 也 被 称 为 “ 强 矩 阵 模式 ”的 组 织 结构 。 开 发 组 主管 在 项 目 启动 时 ， 根 据 项 目 规模 的 估计 ， 向 各 个 资源 团队 申请 
数量 不 等 的 工程 师 组 成 临时 开发 团队 ， 开 发 组 主管 负责 任务 管理 ， 并 向 资源 部 门 主 管 提 供 绩效 考核 所 需 的 事实 依据 。 资 源 部 门 主 
管 负 有 绩效 管理 、 团 队 建 设 和 人 员 发展 等 人 员 管 理 相 关 的 职责 。 


不 同 的 组 织 模式 的 研发 团队 ， 在 产品 测试 和 能 力 建设 上 投入 的 工作 量 比重 是 不 一 样 的 ， 如 图 5-13 所 示 。 
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图 5-13 ”组 织 模 式 与 工作 量 投入 比例 的 关系 


树 形 结构 的 研发 团队 ， 优 势 在 于 团队 高 度 专注 于 近期 的 、 项 目的 目标 ， 有 非常 强 的 项 目 成 功 导 向 。 劣 势 在 于 工程 师 的 能 力 发 
展 基 本 上 依靠 团队 主管 个 人 的 改进 意识 。 


树 形 结构 的 研发 团队 在 能 力 建设 和 发 展 上 的 投入 一 般 不 超过 5%， 这 样 的 投入 决定 了 在 测试 能 力 方面 只 能 实施 技术 、 流 程 上 
的 很 小 改进 ， 比 如 总 结 一 个 评审 检查 表 、 套 用 一 种 测试 设计 模板 等 。 


从 我 的 经 验 看 ， 类 似 于 新 产品 、 重 点 项 目 等 短期 目标 比较 重要 的 项 目 ， 采 用 这 种 模式 比较 有 效 ， 如 果 长 期 采用 这 一 种 模式 ， 
要 么 就 是 研发 工程 师 的 能 力 已 经 很 强 ; 要 么 就 需要 有 相应 的 制度 避免 研发 能 力 止步 不 前 。 例 如 团队 间 有 便捷 的 工程 师 流动 机 制 | 
使 得 团队 主管 必须 想 办 法 留 住 优秀 人 才 。 或 者 团队 主管 有 研发 质量 和 效率 方面 的 长 期 改进 目标 。 如 果 本 身 能 力 有 待 提升 ， 又 采用 
这 种 组 织 模式 ， 在 这 个 团队 中 工作 超过 3 年 的 工程 师 ， 会 明显 的 感 党 工作 重复 、 枯 燥 ， 进 步 迟 缓 。 


和 矩 阵 结构 的 研发 团队 ， 优 势 在 于 团队 有 明确 的 能 力 发 展 目标 和 计划 ， 追 求 项 目 目标 和 能 力 发 展 的 平衡 ， 兼 顾 短 期 目标 和 长 期 
发 展 。 务 势 在 于 能 力 发 展 工作 占用 人 力 资源 ， 而 且 这 部 分 资源 的 投入 ， 在 产品 侧 是 看 不 到 短期 效益 的 。 


从 我 的 经 验 看 ， 测 试 工程 师 达到 一 定 规模 (如 ， 超 过 20 人 ) 时 ， 采 用 这 种 模式 比较 有 效 。 采 用 这 种 模式 时 ， 资 源 部 门 的 主 
管 需 要 注意 ， 产 品 成 功 导向 应 该 是 团队 的 主流 ， 避 免 “ 技 术 情节 ”泛滥 ， 影 响 测 试 工程 师 在 产品 测试 上 的 投入 。 


和 矩阵 结构 以 产品 导向 为 主 时 ，“ 测 试 部 ”没有 实体 组 织 ， 是 以 “测试 技术 管理 委员 会 ”之 类 的 形式 人 存在， 这 个 委员 会 负责 能 
力 发 展 的 规划 和 检验 ， 能 力 发 展 的 实施 责任 在 开发 组 主管 及 其 带领 的 团队 。 由 于 开发 组 承担 了 具体 的 能 力 建 设 任务 ， 因 此 ， 资 源 


投入 上 会 增加 一 些 ， 能 够 依托 项 目 研发 活动 实施 技术 、 流 程 上 的 改进 ， 比 如 流程 环节 增 减 、 采 用 新 的 测试 设计 方法 等 。 需 要 专人 
专职 、 脱 离 项 目 研发 的 改进 ， 在 这 种 组 织 模式 下 一 般 比 较 难 实施 。 


和 矩阵 结构 以 分 工 导 向 为 主 时 ，“ 测 试 部 ”是 实体 组 织 ， 能 力 发 展 的 规划 、 实 施 、 检 验 的 责任 都 在 测试 部 主管 及 其 带领 的 团 
队 。 由 于 全 部 测试 工程 师 都 属于 一 个 团队 ， 昌 然 从 产品 研发 整体 上 看 ， 在 能 力 建 设 上 的 投入 比例 增加 不 多 ， 但 是 可 以 集中 资源 实 
现 革 新 性 的 提升 ， 比 如 实现 自动 化 测试 、 引 入 新 的 测试 类 型 等 。 这 一 类 改进 在 实施 的 前 期 有 大 量 技术 导入 、 工 具 准 备 等 方面 的 工 
作 ， 这 个 阶段 比较 高 效 的 方式 是 : 专人 专职 、 脱 离 项 目 研 发 开展 工作 ， 而 这 个 要 求 在 “以 分 工 导 向 为 主 的 矩阵 结构 ”中 相对 容易 
满足 。 


和 矩阵 结构 还 有 一 种 “ 半 虚 半 实 ”的 情况 ，“ 测 试 部 ”是 小 型 实体 组 织 ， 只 负责 能 力 建设 不 参与 产品 测试 ， 同 时 产品 开发 组 的 
测试 工程 师 通 过 “测试 技术 管理 委员 会 ”参与 测试 部 的 工作 。 这 种 结构 下 ， 也 可 以 利用 “测试 部 ”的 资源 实现 能 力 的 革新 性 提 
升 。 


产品 研发 团队 的 组 织 结构 不 是 一 成 不 变 的 ， 我 们 的 测试 团队 经 历 过 的 组 织 模式 主要 有 : 


“大 测试 部 ”， 产 品 线 所 有 产品 的 测试 工程 师 都 属于 同一 个 测试 部 门 ， 这 个 部 门 承接 所 有 产品 的 测试 任务 ， 并 规划 实施 自 
己 的 能 力 提升 ; 


“小 测试 部 ”， 每 个 产品 有 自己 的 测试 部 负责 产品 的 测试 任务 ， 产 品 线 有 一 个 小 型 的 测试 技术 与 工具 组 负责 向 各 测试 部 导 


入 技术 和 工具 ， 各 测试 组 织 通 过 “测试 技术 管理 委员 会 ”进行 能 力 建设 的 管理 工作 ; 
“一 体 化 团队 ”， 系 统 、 测 试 、 开 发 工程 师 都 分 配 到 各 开发 组 ， 开 发 组 对 特性 或 模块 从 需求 到 交付 负 完全 责任 。 


当 加 快 交 付 进度 、 更 快 响应 需求 的 要 求 迫 在 眉 睫 时 ， 测 试 部 被 打 散 ， 工 程 师 的 资源 全 部 交 到 各 个 开发 团队 主管 手 上 组 成 “一 
体 化 团队 ”， 这 样 ， 比 较 有 利于 调度 和 任务 安排 减少 沟通 成 本 、 降 低 信息 传递 失真 。 


大 部 分 时 候 为 了 平衡 短期 和 长 期 目标 ， 采 用 的 是 矩阵 模式 的 组 织 结构 ， 其 中 以 “小 测试 部 ”或 者 “ 半 虚 半 实 ”和 矩阵 结构 为 主 
流 。 目 前 ， 多 数 采用 “小 测试 部 ”模式 的 测试 团队 ， 最 主要 的 问题 是 测试 工程 师 缺 乏 不 同 产品 的 测试 经 验 ， 难 以 培养 出 跨 产品 解 
决 方案 的 验证 专家 ， 以 及 专项 测试 专家 (如 ， 自 动 化 测试 、 可 靠 性 测试 、 体 验 测试 等 )。 


综 上 所 述 ， 组 织 结构 的 设计 决定 了 研发 团队 如 何 分 配 自己 的 资源 ， 而 资源 的 投向 决定 了 研发 团队 能 力 提升 的 速度 。 从 数 次 组 
织 结构 调整 的 经 验 看 ， 无 论 是 “大 测试 部 ”还 是 “小 测试 部 ”的 组 织 形式 ， 测 试 能 力 的 提升 都 没有 止步 ， 只 有 快慢 难 易 的 区 别 。 
但 是 “一 体 化 团队 ”的 组 织 形式 下 ， 测 试 能 力 几乎 是 止步 不 前 的 ， 甚 至 随 着 测试 工程 师 的 流失 ， 测 试 能 力 还 在 降低 。 在 我 们 的 测 
试 团队 中 有 一 个 观点 : 当 开 发 与 测试 人 员 的 能 力 无 法 做 到 高 质量 代码 、 高 效率 测试 之 前 ， 组 建 一 体 化 团队 的 结果 要 不 就 是 更 加 疲 
于 奔 命 ， 要 不 就 是 产品 质量 务 化 ， 这 也 是 不 无 道理 的 。 


当然 ， 以 上 讨论 的 前 提 是 ， 研 发 团队 的 工程 师 的 能 力 还 有 比较 大 的 提升 空间 。 对 于 那些 经 过 精 挑 细 选 ， 由 目标 感 很 强 、 知 识 
面 宽 、 实 践 经 历 丰富 的 人 组 成 的 团队 ， 无 论 组 织 采 用 什么 样 的 结构 ， 都 不 影响 团队 和 个 人 的 能 力 持续 成 长 。 


接 下 来 ， 讨 论 几 个 测试 团队 内 部 的 组 织 设计 问题 。 


【测试 设计 和 测试 执行 分 离 】 资 深 的 测试 工程 师 负 责 测试 设计 ， 低 级 别 工 程 师 负责 执行 。 这 样 做 的 目的 是 : 提高 测试 设计 的 
质量 ; 让 测试 团队 有 一 个 和 系统 工程 师 对 等 的 角色 ， 从 而 形成 测试 工程 师 明确 的 发 展 通道 。 

我 们 的 测试 团队 中 做 过 几 次 这 样 的 尝试 ， 但 是 均 以 失败 告终 。 原 因 大 概 是 几 个 方面 : 第 一 ， 测 试 是 一 个 不 断 假设 求证 的 过 
程 ， 常 见 的 情况 是 ， 测 试 执行 过 程 中 仍 在 不 断 更 新 甚至 推翻 原先 的 测试 设计 ， 测 试 设计 与 执行 分 离 以 后 增加 了 沟通 成 本 ， 降 低 了 
效率 。 第 二 ， 开 发 过 程 中 需求 和 设计 也 一 直人 在 变更 ， 当 工程 师 拿 到 可 执行 的 产品 时 ， 可 能 根本 无 法 使 用 原先 设计 好 的 用 例 。 第 


三 ， 测 试 设计 工程 师长 期 不 对 产品 进行 实际 操作 ， 对 产品 的 特性 使 用 方法 、 限 制 和 约束 、 陷 阱 和 问题 等 都 不 了 解 ， 无 法 设计 出 真 
正好 的 用 例 。 第 四 ， 人 为 造成 的 等 级 观念 ， 极 大 削弱 了 低级 别 工 程 师 的 积极 性 。 


当然 ， 系 统 工程 师 和 开发 工程 师 之 间 的 配合 ， 也 一 样 会 存在 代码 实现 过 程 中 改变 设计 、 设 计 方 案 无 法 实现 等 方面 的 问题 ， 但 
这 并 没有 妨碍 这 两 个 角色 分 司 其 职 ， 因 此 ， 测 试 工程 师 的 角色 细 分 并 非 是 注定 失败 的 尝试， 只 是 继续 尝试 前 ， 需 要 考虑 如 何 避 免 
以 上 问题 。 


【自动 化 专项 团队 】 测 试用 例 在 手工 测试 执行 通过 之 后 ， 交 给 自动 化 专项 团队 ， 完 成 自动 化 用 例 的 实现 和 后 续 回归 测试 执 
行 。 这 样 做 的 目的 是 : 保持 自动 化 用 例 的 规范 性 和 可 继承 性 ， 降 低产 品 导 入 自动 化 测试 时 的 学 习 成 本 。 


我 们 的 很 多 测试 团队 都 经 历 过 这 样 的 阶段 ， 绝 大 部 分 产品 在 提升 产品 测试 的 自动 化 率 的 同时 ， 也 在 着 手 降 低 自动 化 工具 的 使 
用 难度 ， 对 测试 工程 师 进行 相关 的 培训 和 训练 ， 逐 渐 做 到 一 般 的 测试 工程 师 就 可 以 写 出 符合 要 求 的 自动 化 用 例 并 完成 回归 测试 ， 


渡 性 的 组 织 。 


当然 ， 也 有 产品 至 始 至 终 保留 了 自动 化 专项 团队 ， 那 是 由 于 产品 及 其 测试 内 容 比较 特殊 ， 自 动 化 脚本 复杂 度 高 ， 所 以 需要 经 
过 专门 训练 的 人 才能 胜任 这 个 工作 。 


与 自动 化 专项 团队 类 似 ， 还 有 持续 集成 (CI) 专项 团队 。 自 动 化 方案 成 熟 后 ， 测 试用 例 的 自动 化 实现 与 执行 ， 从 专人 负责 ， 
转变 成 为 每 个 测试 工程 师 的 工作 。 CI 的 方案 成 熟 后 ， 通 常 CI 的 执行 和 结果 分 析 ， 从 专人 负责 ， 转 变 成 为 机 器 自动 化 执行 ， 并 根据 
规则 分 析 结 果 。 


【专项 测试 (DFX 测 试 ) 团队 】 负 责 产品 一 种 或 几 种 DFX 测 试 的 团队 ， 研 发 项 目 中 相关 DFX 方 面 的 任务 基本 上 都 由 这 个 团队 
承担 。 这 样 做 的 原因 是 : 第 一 ， 专 项 测试 需要 掌握 的 方法 、 工 具 比 较 多 ， 学 习 和 入 门 门槛 比 功 能 测试 高 ， 独 立 出 专人 付出 的 学 习 
成 本 比较 小 ， 是 更 经 济 的 做 法 。 第 二 ，DFX 测 试 在 每 个 项 目的 工作 量 都 不 太 多 ， 将 不 同 项 目的 DFX 测 试 任务 集中 给 专人 负责 ， 才 
能 使 测试 工程 师 得 到 足够 的 实 操 机 会 ， 让 能 力 得 到 提升 。 


我 们 大 部 分 产品 都 有 这 样 的 DFX 测 试 团 队 ， 责 任 范 围 主 要 集中 在 性 能 、 可 靠 性 、 安 全 性 测试 。 大 部 分 DFX 测 试 团队 几乎 是 产 
品 测试 团队 组 建 时 就 存在 了 ， 以 至 于 很 多 测试 经 理 习 惯 地 认为 ，DFX 测 试 团队 是 产品 测试 部 的 标准 配置 。 但 事实 上 不 是 这 样 ， 
在 “性 能 测试 标准 化 ”的 例子 (参见 5.2.2 节 “能 力 建设 首先 考虑 实用 性 ”) 中 不 难看 出 ， 一 旦 产品 PDFX 测 试 的 方法 足够 成 熟 ， 
可 以 通过 技术 手段 降低 学 习 门 槛 和 使 用 成 本 ， 将 原本 需要 专人 负责 的 工作 ， 变 为 稍 加 训练 的 测试 工程 师 就 可 以 胜任 。 


当然 ，DFX 测 试 相关 技术 和 方法 的 成 熟 度 普遍 不 高 ， 一 种 专项 测试 产品 从 导入 到 成 熟 一 般 会 经 历 比 较 漫长 的 过 程 ， 通 常数 以 
年 计 ， 因 此 DFX 测 试 团队 通常 并 不 是 一 个 过 渡 性 质 的 、 临 时 性 的 团队 。 


【测试 工具 和 技术 专业 团队 】 不 参与 产品 测试 ， 是 一 个 纯粹 做 技术 的 团队 。 主 要 负责 测试 所 需 的 各 种 工具 的 设计 开发 ， 负 责 
测试 技术 预 研 、 导 入 和 普及 ， 在 产品 导入 测试 工具 和 技术 时 ， 提 供 技术 上 的 辅导 和 支持 。 这 样 做 的 原因 和 成 立 “ 专 项 测试 团 
队 ” 的 原因 类 似 : 第 一 ， 把 需要 付出 较 多 学 习 成 本 和 开发 成 本 的 工作 交 给 专业 团队 ， 这 样 对 研发 整体 来 说 比较 经 济 。 第 二 ， 这 些 
工作 需要 比较 长 的 准备 时 间 ， 这 个 阶段 无 法 在 研发 项 目 中 产生 收益 ， 在 追求 产品 项 目 成 功 的 团队 中 ， 长 期 保留 技术 团队 的 难度 太 
大 。 第 三 ， 做 这 部 分 工作 的 成 果 ， 与 产品 测试 工作 的 成 果 缺 乏 可 比 性 ， 独 立 出 来 便于 管理 。 


很 多 大 型 的 、 成 熟 的 研发 团队 都 有 这 样 的 工具 和 技术 专业 团队 。 当 产品 测试 开展 3~ 5 年 以 后 ， 那 种 “ 拿 来 就 能 用 ”的 工具 和 
方法 基本 上 都 已 经 被 测试 工程 师 们 掌握 并 应 用 了 ， 想 要 测试 更 好 地 适 配 产品 的 特征 (产品 的 接口 、 研 发 模式 、 业 务 领 域 等 都 可 能 
需要 适 配 ) ， 进 一 步 提升 质量 和 效率 ， 需 要 在 工具 和 技术 上 进行 创新 。 这 种 创新 可 能 需要 开发 新 工具 ， 也 可 能 是 定制 开源 或 商用 
工具 ; 可 能 需要 新 的 方法 ， 也 可 能 是 为 已 有 的 方法 加 上 辅助 信息 和 工具 。 这 样 的 工作 很 难 循 着 “别人 已 经 走 过 的 路 ” ， 需 要 自己 
参考 大 量 的 资料 来 设计 方案 ， 实 施 过 程 也 是 个 不 断 试 错 、 调 整 的 过 程 ， 单 个 产品 的 测试 组 很 难 承担 这 样 的 资源 投入 。 工 具 和 技术 


专业 团队 一 般 就 是 在 这 样 的 背景 下 诞生 的 ， 这 个 团队 由 多 个 产品 的 研发 团队 投资 (提供 人 力 、 设 备 等 方面 的 资源 ) ， 服 务 于 所 有 
参与 投资 的 产品 。 


总 而 言 之 ， 只 要 在 产品 测试 活动 中 有 了 明确 的 业务 范围 和 责任 目标 ， 是 可 以 在 测试 团队 内 部 再 细 分 角色 和 组 织 的 。 通 常 ， 需 
从 头 建 设 某 方面 的 能 力 ， 而 当 建 设 这 个 能 力 需 要 比较 大 的 投资 时 ， 组 建 团队 承担 相关 技术 的 研究 、 导 入 、 落 地 ， 是 比较 经 济 和 自 
然 的 选择 。 当 然 关 于 组 织 结构 的 这 些 讨论 ， 只 对 具有 一 定 规 模 的 团队 有 意义 。 


前 面 讨论 的 是 组 织 结构 的 问题 ， 接 下 来 讨论 两 个 关于 “比例 “的 问题 。 


【开发 测试 比 】 开 发 工程 师 人 数 : 测试 工程 师 人 数 ， 在 英文 资料 中 常 称 为 ratio。 在 本 书 第 1 章 “ 他 山 之 石 ”中 列举 了 几 个 不 
同类 型 公司 的 开发 测试 比 ， 这 个 比例 最 高 的 达到 1 : 2， 最 低 的 达到 20 : 1， 具 体 的 比例 与 产品 的 特点 、 测 试 团队 承担 的 职责 有 
关 ， 并 不 人 存在 一 个 所 谓 “ 基 准 ” 的 参考 值 。 尽 管 如 此 ， 还 是 有 一 些 可 以 参考 的 经 验 数据 : 


. 黑金 测试 。 如 果 开 发 工程 师 完成 代码 编写 后 ， 在 特性 功能 层面 只 进行 调试 和 简单 的 功能 验证 ， 产 品 的 黑金 测试 全 部 由 测试 
工程 师 完 成 ， 那 么 开发 测试 比 维持 在 2 : 1~4 : 1， 可 以 使 测试 工程 师 正 常 地 完成 功能 和 常规 专项 测试 (主要 指 性 能 测试 、 兼 容 性 
测试 等 ) 的 设计 、 执 行 、 评 估 、 缺 陷 分 析 等 工作 。 低 于 这 个 比例 时 ， 测 试 工程 师 通常 就 会 简化 甚至 省 略 专 项 测试 、 测 试 设计 、 缺 
陷 分 析 等 工作 ， 使 得 测试 覆盖 缺乏 保障 ， 测 试 工作 也 不 容易 回溯 、 改 进 。 高 于 这 个 比例 时 ， 测 试 工程 师 可 以 开展 更 丰富 的 专项 测 
试 ， 或 者 为 研发 团队 提供 其 他 服务 ， 帮 助 提高 研发 质量 和 效率 〈 参 见 第 7 章 “ 产 品质 量 屏障 ”和 第 8 章 “ 产 品 交付 先锋 ”) 。 


- 专项 测试 。 在 我 们 的 测试 困 队 中 ， 负 责 性 能 、 可 靠 性、 兼容 性 、 安 全 性 等 常规 专项 测试 的 工程 师 ， 一 般 占 研发 总 人 数 的 
59% 左 右 。 这 部 分 工程 师 负 责 主 要 版 本 的 专项 测试 设计 、 执 行 、 结 果 分 析 、 缺 陷 分 析 等 工作 ， 也 负责 专项 测试 所 需要 的 技术 和 工 
具 准 备 工作 。 


* 测试 工具 和 技术 专业 团队 。 在 我 们 的 测试 团队 中 ， 为 研发 团队 提供 测试 工具 和 技术 服务 的 工程 师 ， 占 研发 体系 测试 工程 师 
总 数 的 2%~4% 左 右 。 这 部 分 工程 师 主要 职责 是 帮助 提高 研发 质量 和 效率 ， 提 供 产 品 研发 、 交 付 所 需要 的 技术 、 方 法 和 工具 框 
架 ， 例 如 : 自动 化 测试 方案 和 工具 框架 、 持 续集 成 方案 和 工具 框架 、DFX 测 试 方法 和 工具 框架 、 研 发 过 程度 量 和 管理 的 方法 及 其 
工具 等 。 这 个 团队 只 负责 适用 于 大 部 分 产品 的 工具 和 技术 ， 一 般 不 为 特定 的 产品 特性 测试 而 开发 的 工具 。 当 然 这 些 技术 方案 和 工 
具 并 不 是 同时 完成 的 ， 每 年 只 会 聚焦 1~2 个 技术 方向 。 


【各 级 别 测试 工程 师 比 例 】 即 梯队 结构 。 我 所 见 到 和 了 解 到 的 产品 ， 测 试 团队 的 梯队 结构 与 研发 团队 整体 的 梯队 结构 基本 是 
一 致 的 ， 多 数 都 是 梨 形 的 梯队 结构 : 非常 新 和 非常 资深 的 工程 师 都 比较 少 ， 大 部 分 是 有 一 定 经 验 ， 可 以 独立 完成 一 项 测试 任务 的 
工程 师 。 我 曾经 对 一 个 大 型 欧美 跨国 企业 做 过 了 解 : 本 土 团队 软件 工程 师 的 工作 经 验 在 8~ 10 年 的 比较 集中 ， 团 队 技术 核心 一 般 
有 超过 20 年 的 工作 经 验 ; 印度 团队 在 5~ 8 年 的 比较 集中 ， 技 术 核心 的 工作 经 验 在 10 年 以 上 ; 中 国 团队 在 4~ 6 年 的 比较 集中 ， 技 术 
核心 的 工作 经 验 不 到 10 年 。 无 论 哪个 团队 ，1~2 年 内 的 新 人 都 比较 少 。 


我 们 的 测试 工程 师 与 欧美 客户 的 技术 团队 合作 时 ， 感 觉 他 们 能 够 迅速 、 全 面 地 了 解 信息 ， 对 可 能 出 现 问题 有 充分 的 预 判 ， 给 
出 的 方案 可 实施 性 较 好 ， 这 与 他 们 做 过 的 项 目 多 、 见 多 识 广 有 关 。 


梨 形 的 梯队 结构 多 见于 成 熟 的 测试 团队 ， 新 组 建 的 团队 通常 会 新 人 比较 多 。 当 团队 的 新 人 比较 多 时 ， 应 该 侧重 基础 能 力 建 设 
(参见 第 3 章 “拦截 缺陷 ”和 第 4 章 “提供 数 据 ” 所 需 的 能 力 ) ， 通 过 可 靠 地 完成 本 职工 作 ， 建 立 研发 对 测试 基本 的 信任 。 当 梯 
队 结构 趋 于 成 熟 ， 则 可 以 尝试 更 具 创造 性 的 能 力 建设 (参见 第 5 章 “ 测 试 过 程 可 控 ”、 第 7 章 “产品 质量 屏障 ”和 第 8 章 “ 产 品 交 
付 先 锋 ”) ， 为 测试 工程 师 的 多 样 化 发 展 谋求 可 能 性 。 


当然 工程 师 的 能 力 不 完 全 取决 于 工作 年 限 ， 工 作 的 环境 对 能 力 发 展 的 影响 也 是 巨大 的 ， 比 如 : 产品 所 处 的 领域 技术 更 新 频 
繁 ， 公 司 所 服务 的 客户 专业 、 严 谨 ， 研 发 团队 有 鼓励 创新 的 氛围 等 ， 也 会 使 工程 师 的 能 力 更 快 提升 。 


图 5-14 所 示 是 本 节 提 到 的 各 种 测试 团队 间 关 系 的 示意 图 ， 产 品 测试 部 和 其 他 功能 团队 一 起 组 成 产品 研发 团队 。 其 中 专项 测 
试 组 在 产品 测试 部 内 部 组 建 ， 只 服务 于 本 产品 ; 测试 工具 与 技术 部 是 产品 线 研 发 部 的 公共 部 门 之 一 ， 服 务 于 多 个 产品 。 
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图 5-14 ”各 种 测试 组 织 的 关系 


5.4.4 ”从 任职 资格 标准 的 演变 看 测试 价值 

在 华为 ， 任 职 资格 管理 是 员工 管理 的 重要 手段 之 一 ， 任 职 资格 标准 定义 各 个 岗位 、 各 个 级 别 在 承担 责任 、 做 出 贡献 方面 的 要 
求 ， 通 过 定期 的 任职 资格 评定 ， 引 导 员 工 在 本 职 岗位 上 不 断 提升 能 力 ， 做 出 更 大 贡献 。 
测试 的 任职 标准 制定 和 资格 认证 工作 已 经 开展 了 十 多 年 ， 测 试 类 的 任职 资格 标准 经 历 过 至 少 3 次 大 的 调整 ， 每 次 调整 都 是 由 


于 研发 对 测试 角色 有 了 新 的 期 望 和 认识 。 


1.2001 年 版 本 
从 网 上 找到 2001 年 版 的 测试 任职 资格 标准 如 下 ， 这 也 是 首次 定义 测试 任职 资格 标准 。 


【任职 资格 标准 】 
任职 资格 标准 分 为 职责 和 工作 经 验 两 部 分 。 


职责 部 分 的 标准 如 下 : 
软件 测试 类 一 级 工程 师 ， 有 一 定 系 统 特性 的 测试 实践 经 验 ， 参 与 测试 方案 和 测试 用 例 的 设计 ， 能 够 独立 完成 测试 代码 实 
测试 环 境 搭建 、 测 试 执行 等 工作 。 承 担 华 为 某 一 产 品 领 域 或 特定 产 品 技术 领域 中 一 般 系统 特性 的 测试 、 质 量 保证 活动 等 工 


现 
作 。 在 二 级 及 以 上 工程 师 的 指导 下 按 计 划 要 求 完成 任务 并 保证 其 质量 。 


: 软件 测试 类 二 级 工程 是 ， 有 较 多 系统 特性 的 测试 实践 经 验 ， 参 与 测试 方案 和 测试 用 例 的 设计 ， 参 与 测试 平台 的 设计 ， 能 够 
独立 完成 测试 代码 实现 、 测 试 环境 搭建 和 测试 执行 等 工作 。 承 担 华 为 某 一 产品 领域 或 特定 产品 技术 领域 中 的 较 复杂 系统 特性 的 测 


试 、 质 量 保 证 活动 等 工作 。 在 三 级 及 以 上 工程 师 的 指导 下 解决 测试 一 般 难题 。 按 时 完成 指标 、 计 划 并 保证 质量 。 具 有 培养 、 辅 导 
新 员工 ， 担 任 新 员工 思想 导师 的 能 力 和 责任 。 


. 软件 测试 类 三 级 工程 师 ， 有 较 多 系统 特性 的 测试 实践 经 验 ， 能 独立 进行 较 复杂 特性 的 测试 方案 设计 、 测 试用 例 设计 、 

台 设 计 ， 参 与 测试 执行 和 测试 代码 编写 的 工作 。 可 独立 主持 小 型 项 目的 测试 任务 ; 是 测试 某 一 环节 的 技术 主力 ， 可 独 挡 一 面 。 
承担 华为 某 一 产品 或 特定 产品 技术 领域 较 复 杂 特 性 的 测试 ， 对 产品 质量 、 成 本 、 进 度 和 客户 满意 度 及 产品 的 可 测试 性 、 可 生产 
性 、 可 维护 性 或 关键 技术 解决 有 一 定 影响 ， 可 以 指导 和 培养 低级 别 工 程 师 ， 可 担负 一 定 的 小 型 项 目 领导 职责 或 作为 中 型 项 目的 骨 
干 力量 。 


“ 软件 测试 类 四 级 工程 师 ， 有 较 深入 的 产品 测试 经 验 ， 或 核心 技术 的 测试 实践 经 验 ， 并 注意 总 结 、 推 广 和 重复 应 用 ， 可 独立 
完成 子 系统 测试 方案 的 设计 、 测 试 平台 的 设计 ， 优 化 本 项 目 组 测试 工作 并 促进 模块 质量 提高 ， 主 持 华 为 中 等 复杂 项 目的 测试 工 
作 。 对 产品 的 质量 、 成 本 、 计 划 、 进 度 和 客户 满意 度 以 及 产品 的 可 测试 性 、 可 生产 性 、 可 维护 性 或 关键 技术 解决 有 重要 影响 。 具 
有 思想 导师 资格 和 经 验 ， 可 以 指导 和 培养 三 级 以 内 工程 师 ， 领 导 中 型 项 目 或 作为 大 型 项 目的 骨干 力量 。 


. 软件 测试 类 五 级 工程 师 ， 具 有 深入 的 产品 测试 经 验 ， 或 核心 技术 的 测试 实践 经 验 ， 有 主持 多 个 系统 (或 产品 ) 测试 技术 工 

作 的 经 验 。 是 公司 内 测试 领域 的 带头 人 ， 对 该 领域 的 知识 和 经 验 十 分 丰富 完备 。 及 时 了 解 市 场 、 关 键 竞争 对 手 、 商 业 / 技 术 环 境 

的 情况 ， 按 照 华为 产品 规划 和 战略 ， 规 划 整 个 产品 的 测试 方案 ; 采用 新 测试 技术 和 裁减 测试 过 程 以 适合 本 产品 ， 及 时 发 现 测试 过 

程 中 存在 的 问题 并 改进 现 有 测试 技术 和 测试 流程 ， 能 解决 该 领域 内 的 绝 大 多 数 难题 。 对 产品 质量 、 成 本 、 计 划 、 进 度 和 客户 满意 
度 以 及 可 生产 性 、 可 维护 性 有 决定 性 的 影响 。 对 四 级 及 以 下 技术 人 员 进 行 指 导 和 培养 ， 领 导 大 型 、 重 要 项 目 。 


“ 软件 测试 类 六 级 工程 师 ， 根 据 公 司 总 体 发 展 战略 ， 制 定 本 领域 技术 发 展 战略 ， 引 领 本 领域 的 技术 方向 ， 确 保 技 术 方 向 的 正 
确 性 和 可 持续 发 展 性 ; 通过 对 本 领域 大 型 /复杂 项 目的 框架 定义 、 需 求 规格 定义 、 系 统 设计 、 评 审 、 批 准 等 活动 ， 从 技术 上 支撑 
本 领域 发 展 战略 的 制定 与 实施 ， 承 担 主要 技术 责任 ， 保 障 项 目 技术 上 最 合理 。 具 备 专 业 领 域内 丰富 的 产品 技术 创新 及 优化 经 
在 公司 本 领域 内 被 认为 是 权威 。 参 与 公司 流程 规范 的 建设 和 产品 /技术 /流程 的 优化 改进 。 具 有 强烈 的 客户 意识 、 质 量 意识 、 成 本 

识 和 商品 意识 ， 对 管理 者 和 同事 提供 指导 和 方向 的 指引 ， 能 做 出 对 产品 的 成 本 、 计 划 、 进 度 和 客户 满意 度 有 重大 影响 的 决策 
为 实践 证 明 。 指 导 、 培 养 低级 别 工 程 师 ， 促 进 形成 完整 的 技术 支撑 队伍 。 


工作 经 验 部 分 的 标准 如 表 5-3 所 示 。 
表 5-3 ”各 级 别 测试 工程 师 工作 经 验 要 求 


资格 等 级 工作 经 验 

1 年 以 上 软件 类 工作 经 验 ， 熟悉 软件 测试 相关 基础 知识 ， 上 有 具备 独 立 处 理 一 般 软 件 测试 技术 问题 
的 经 验 

2 年 以 上 软件 类 工作 经 验 ， 其 中 有 1 年 以 上 软件 测试 工作 经 验 ; 具备 独立 进行 系统 特性 测试 的 
经 验 ， 曾 参与 测试 方案 、 测 试用 例 、 测 试 平台 设计 ， 指 导 产 品 设计 人 员 进 行 产 品 可 测试 性 设计 

3 年 以 上 软件 类 工作 经 验 ， 其 中 有 1 年 以 上 软件 测试 工作 经 验 ; 具备 产品 工程 领域 知识 ， 有 组 

三 级 织 产品 可 测试 性 方案 设计 等 经 验 ， 曾 参与 产品 可 测试 性 设计 准 则 的 制订 ， 有 成 功 领导 小 型 项 目 及 

参与 定位 解决 研发 软件 技术 难题 的 经 验 


( 续 ) 
资格 等 级 工作 经 验 
4 年 以 上 软件 类 工作 经 验 ， 其 中 有 2 年 以 上 软件 测试 工作 经 验 ; 具备 产品 软件 技术 领域 较 全 面 的 
具备 解决 产品 测试 过 程 的 重大 软件 技术 难题 的 经 验 ; 曾 参与 软件 测试 技术 发 展 的 决策 工作 


5 年 以 上 软件 类 工作 经 验 ， 其 中 有 2 年 以 上 软件 测试 工作 经 验 ; 具备 产品 软件 测试 技术 领域 全 面 
五 级 的 知识 ， 具备 定位 解决 产品 测试 过 程 中 的 重大 软件 技术 难题 的 经 验 ， 预 见 企业 未 来 产品 的 软件 技 
术 走 向 ， 有 具备 组 织 中 等 复杂 项 目的 测试 、 技 术 研 究 经 验 ; 是 公司 软件 测试 技术 的 带头 人 


6 年 以 上 软件 类 工作 经 验 ， 其 中 有 2 年 以 上 软件 测试 工作 经 验 ; 具备 产品 软件 测试 技术 领域 广博 
六 级 精深 的 知识 ， 具 有 解决 产品 测试 过 程 中 重大 软件 技术 难题 的 经 验 ， 预 见 企 业 未 来 产品 的 软件 技术 
走向 ， 有 具备 组 织 大 型 项 目的 测试 、 技 术 研 究 经 验 ; 是 公司 软件 测试 类 技术 的 权威 
【级 别 间 的 主要 区 别 】 
任职 资格 标准 中 各 个 级 别 间 的 主要 区 别 有 : 


. 年 限 。1 年 可 以 升 1 级 。 这 样 确定 年 限 要 求 的 背景 是 ， 当 时 在 华为 ，3 年 是 一 道 坎 ，3 年 合同 期 满 就 奸 职 的 人 比较 多 。 这 样 的 
评定 间隔 足以 覆盖 绝 大 部 分 人 在 华为 的 职业 生涯 。 


* 责任 范围 。 从 2 级 到 6 级 ， 工 程 师 负 责 的 责任 范围 一 步 步 扩 大 ， 一 般 特 性 一 复杂 特性 一 小 型 项 目 一 中 、 大 型 项 目 一 多 个 重要 


项 目 。 


* 技术 能 力 。 从 1 级 到 6 级 ， 工 程 师 所 需要 具备 的 技能 有 明确 的 区 别 ， 设 计 / 执 行 /自动 化 实现 一 设计 /执行 /自动 化 设计 一 设 
计 / 执 行 /自动 化 设计 /可 测试 性 一 设计 /自动 化 设计 /过 程 和 方法 优化 一 测试 总 体 解决 方案 设计 实现 /过 程 和 方法 优化 一 测试 总 体 解 


决 方案 设计 实现 
【 正 向 牵引 作用 】 
任职 资格 标准 对 测试 工程 师 的 发 展 起 到 了 如 下 正 向 牵引 作用 : 


“ 责任 范围 的 划分 使 得 这 个 角色 的 各 级 职责 得 到 明确 ， 一 直到 2013 版 的 标准 ， 这 个 思路 都 被 沿袭 下 来 。 这 相当 于 明确 了 ， 必 
须 是 在 产品 的 开发 测试 过 程 中 做 出 了 更 大 的 贡献 、 有 更 大 的 影响 范围 ， 才 能 获得 相应 的 任职 资格 。 

“ 要 求 高 级 别 工程 师 (4 级 以 上 ) 在 质量 、 成 本 、 计 划 、 进 度 和 客户 满意 度 以 及 产品 的 可 测试 性 、 可 生产 性 、 可 维护 性 或 关 
键 技术 解决 有 重要 影响 (4 级 ) 乃至 支持 决策 (6 级 ) 。 这 个 要 求 是 有 前 脆性 的 ， 相 当 于 这 引 高 级 别 工 程 师 从 研发 整体 利益 的 角 


度 、 更 全 面 地 考虑 问题 ， 不 局 限 在 测试 一 个 环节 。 


.要求 测试 的 技术 决策 是 基于 对 市 场 、 关 键 竞争 对 手 、 商 业 / 技 术 环 境 的 了 解 而 做 出 的 。 这 要 求 测试 围绕 客户 需求 、 产 品 应 
用 场景 进行 技术 上 的 建设 ， 这 个 标准 是 很 适合 测试 的 职业 特点 的 ， 且 有 利于 测试 的 发 展 。 


` 可 测试 性 通过 这 个 渠道 被 明确 提出 ， 也 因此 推动 了 可 测试 性 技术 的 发 展 和 积累 。 
【存在 的 问题 】 


这 个 版 本 的 任职 资格 标准 存在 以 下 问题 : 6 级 没有 确定 在 产品 的 责任 范围 。 事 实 上 从 4 级 开始 就 更 多 地 强调 “技术 ”而 不 
是 “产品 ”， 而 这 些 “技术 能 力 ” 对 产品 意味 着 什么 ， 又 没有 明确 。 这 样 给 人 的 感觉 是 ， 测 试 走 到 后 面 要 逐渐 脱离 产品 实践 ， 这 
显然 不 是 研发 团队 想 看 到 的 。 


华为 软件 类 的 系统 、 开 发 、 测 试 类 任职 资格 标准 中 ， 各 个 级 别 的 责任 范围 的 演进 顺序 基本 上 都 是 同样 的 。 但 研发 体系 很 明确 
地 知道 ， 特 性 和 系统 、 简 单 系统 和 复杂 系统 所 需要 的 架构 、 设 计 、 实 现 能 力 是 不 一 样 的 ， 不 会 认为 “反正 都 是 编码 ”。 开 发 工程 
师 升 级 到 系统 工程 师 的 同时 ， 人 力 资源 也 由 开发 组 转 到 总 体 组 或 者 系统 部 。 标 准 中 也 确实 定义 了 不 同 级 别 的 不 同 能 力 要 求 ， 比 如 
4 级 在 设计 中 就 必须 考虑 DFX (成 本 、 制 造 等 ) 、5 级 必须 对 技术 决策 或 短期 规划 负责 等 。 


然而 对 于 测试 ， 人 们 不 知道 ， 测 试 不 同 的 特性 、 负 责 一 个 项 目 和 负责 整个 产品 的 测试 ， 在 能 力 要 求 上 有 什么 不 同 ， 而 测试 技 
术 也 确实 没有 发 展 出 类 似 于 设计 模式 、 架 构 模 式 一 类 的 “高 大 上 ”的 技术 。 因 此 ， 在 任职 资格 标准 中 没有 明确 说 明 随 着 级 别 的 升 
高 ， 究 竟 什 么 能 力 要求 高 了 。 比 如 所 有 级 别 的 测试 工程 师 都 需要 具备 测试 设计 的 技能 ， 但 无 法 区 分 在 不 同 级 别 的 时 候 ， 需 要 掌握 
些 什么 、 能 够 做 到 什么 程度 。 而 对 于 “测试 总 体 解决 方案 ”研发 体系 没有 概念 ， 认 为 就 是 自动 化 工具 (事实 上 当时 的 测试 工程 师 
自己 也 这 么 认为 ) 。 

一 些 测试 的 重要 职责 ， 也 是 能 体现 能 力 的 职责 ， 并 没有 包含 在 任职 资格 标准 中 ， 比 如 DFX 测 试 ， 实 验 局 测试 ， 竞 品 分 析 等 。 
这 导致 在 任职 资格 认定 时 ， 某 些 测试 工程 师 的 能 力 得 不 到 充分 的 认可 。 

从 现在 的 角度 看 这 个 标准 ， 责 任 范 围 的 划分 把 产品 当做 孤立 的 个 体 对 待 ， 不 能 适应 越 来 越 多 样 的 产品 集成 解决 方案 的 要 求 。 

【TSE 角 色 职 责 演变 】 

在 2005 年 以 后 ，TSE 这 个 角色 就 在 华为 出 现 了 ， 这 时 候 TSE 的 定位 是 : 负责 测试 设计 ， 同 时 兼顾 测试 技术 的 更 新 和 改进 。 这 
个 定位 有 一 个 背景 : 测试 在 尝试 设计 与 执行 分 离 ， 即 一 部 分 工程 师 专注 做 测试 设计 ， 输 出 用 例 ; 另 一 部 分 工程 师 负责 根据 用 例 执 
行 ， 记 录 结果 。 设 计 与 执行 分 离 后 来 被 证 明 是 行 不 通 的 (原因 参见 5.4.3 节 “组 织 结构 要 与 能 力 现状 匹配 。) ， 这 种 TSE 的 定位 也 


就 没 人 再 提 。 现 在 回头 想 想 ， 测 试 那 时 其 实 还 在 方法 的 积累 阶段 ， 需 要 大 量 的 实践 来 支撑 方法 的 提炼 ， 测 试 设计 与 执行 分 离 的 尝 
试 完全 就 是 被 某 些 印度 式 外 包 模 式 误导 了 。 


测试 设计 与 执行 分 离 的 尝试 虽然 失败 了 ， 但 是 TSE 这 个 称呼 却 保留 下 来 ， 后 面 介绍 新 版 本 的 任职 资格 时 ， 也 会 介绍 TSE 的 职 


如 


此 外 ， 细 心 的 读者 可 能 已 经 发 现 ， 在 这 个 版 本 的 任职 资格 定义 中 ， 各 级 别 职责 中 的 要 求 和 工作 经 验 中 的 要 求 不 太 能 够 对 应 得 
上 。 事 实 上 ， 第 一 次 制定 这 个 标准 时 ， 对 软件 的 系统 工程 师 、 开 发 工程 师 、 测 试 工程 师 的 职责 要 求 基本 上 是 类 似 的 ， 后 来 的 两 次 
修订 才 让 这 些 角 色 逐 渐 有 了 自己 的 特点 。 


此 标准 是 2001 年 发 布 的 ， 我 入 职 两 年 以 后 初次 匹配 这 个 标准 ， 就 发 现 工作 经 验 部 分 早 就 满足 3 级 标准 了 ， 说 明 在 主要 的 责任 
范围 和 能 力 要 求 方面 ， 标 准 定 得 太 低 缺乏 前 瞻 性 。 


2.2007 年 版 本 

这 个 版 本 的 任职 资格 标准 在 网 上 没有 找到 可 供 下 载 的 文档 ， 只 能 根据 记忆 简单 介绍 一 下 。 
【任职 资格 标准 】 

3 级 (5 年 左右 ) 要 求 : 

. 获得 本 领域 2 级 任职 2 年 以 上 。 


" 主持 R 版 本 (大 概 一 个 产品 一 年 2 个 R 版 本 ) 测试 ， 包 括 测 试 设计 、 测 试用 例 基线 建设 、 持 续集 成 和 自动 化 方案 设计 实现 、 
测试 环境 规划 管理 、DFX 验 证 、 测 试 评估 和 闭环 改进 。 验 证 内 容 和 客户 需求 一 致 ， 市 场 项 目 成 功 。 


“ 及 版 本 上 市 后 ， 无 测试 遗漏 导致 的 事故 ， 无 重复 网 上 问题 ， 无 老 特性 丢失 问题 。 


6 级 (10 年 以 上 ) 要 求 : 
. 获得 本 领域 5 级 任职 2 年 以 上 。 


“ 主持 多 个 主力 产品 测试 ， 包 括 测试 设计 、 测 试用 例 基线 建设 、 持 续集 成 和 自动 化 方案 设计 实现 、 测 试 环境 规划 管理 、DFX 


验证 、 测 试 评估 和 闭环 改进 。 验 证 内 容 和 客户 需求 一 致 ， 市 场 项 目 成 功 。 


. 产品 上 市 后 ， 无 测试 遗漏 导致 的 事故 ， 无 重复 网 上 问题 ， 无 老 特性 丢失 问题 。 
根据 测试 结果 促进 产品 特性 和 DFX 的 改进 ， 提 升 产品 竞争 力 。 

. 建设 的 测试 能 力 对 开发 和 服务 环节 都 起 到 促进 作用 ， 或 被 直接 使 用 。 

【级 别 间 的 主要 区 别 】 

任职 资格 标准 中 各 个 级 别 间 的 主要 区 别 有 


年限。 原则 上 每 2 年 才能 升级 一 次 。 此 时 的 离职 率 已 经 没有 那么 高 ， 几 乎 每 个 团队 都 有 工作 超过 5 年 的 员工 ， 任 职 资格 标准 
需要 拉 大 级 别 之 间 的 差距 ， 提 高 级 别 的 “含金量 ”， 起 到 长 期 牵引 的 目的 。 


* 责任 范围 。 从 2 级 到 6 级 ， 工 程 师 负责 的 责任 范围 一 步 步 扩 大 一 一 一 般 特 性 一 复杂 特性 一 小 型 项 目 一 中 、 大 型 项 目 一 产品 一 
多 个 产品 。 


" 技术 能 力 。 从 1 级 到 6 级 ， 工 程 师 所 需要 具备 的 技能 设计 /执行 /自动 化 实现 一 设计 /执行 /自动 化 设计 一 设计 /执行 /自动 
化 设计 /DFX 一 设计 /执行 /自动 化 设计 /DFX 一 设计 /执行 /自动 化 设计 /DFX 一 设计 /执行 /自动 化 设计 /DFX。 


【 正 向 牵引 作用 ]】 

任职 资格 标准 对 测试 工程 师 的 发 展 起 到 如 下 正 向 牵引 作用 : 

:与 前 一 版 本 一 样 ， 责 任 范 围 的 划分 使 得 这 个 角色 的 各 级 职责 得 到 明确 ， 一 直到 2013 版 的 标准 ， 这 个 思路 都 被 沿袭 下 来 。 这 
相当 于 明确 了 ， 必 须 是 在 产品 的 开发 测试 过 程 中 做 出 了 更 大 的 贡献 、 有 更 大 的 影响 范围 ， 才 能 获得 相应 的 任职 资格 。 

. 高 级 别 工程 师 (5 级 以 上 ) 的 责任 范围 立足 于 “产品 ”而 不 再 是 “项 目 ”。 引 导 高 级 别 工程 师 不 局 限于 项 目的 短期 目标 和 
利益 ， 关 注 产 品 生 命 周期 内 工作 成 果 的 通用 性 、 延 续 性 、 可 继承 性 。 

 DFX 测 试 、 测 试用 例 基 线 、 版 本 质量 评估 等 内 容 正 式 纳入 任职 资格 标准 ， 一 方面 明确 了 测试 技术 能 力 的 范畴 ， 明 确 测 试 不 
只 是 自动 化 有 技术 含量 ; 另 一 方面 让 研发 体系 开始 重视 DFX 测 试 、 测 试 基线 的 系统 性 积累 和 应 用 。 

“ 对 高 级 别 工程 师 (4 级 以 上 ) 提出 了 产品 优化 的 要 求 ， 从 单个 特性 或 DFX (如 性 能 ) 的 优化 ， 到 提升 产品 竞争 力 ， 甚 至 提 
出 有 提升 商业 价值 的 优化 建议 。 这 方面 要 求 的 出 发 点 是 ， 让 测试 工程 师 关 注 产 品 的 商业 应 用 ， 跟 随 产 品 的 商业 成 功 获得 个 人 的 发 
展 。 

: 对 高 级 别 工程 师 提 出 了 测试 技术 建设 的 要 求 ， 从 解决 测试 问题 的 技术 ， 到 对 研发 全 流程 产生 价值 的 技术 ， 甚 至 可 以 被 客户 
使 用 、 产 生 商 业 价 值 的 技术 。 这 是 要 求 高 级 别 工程 师 ， 不 仅 需 要 把 自己 的 项 目 做 好 ， 还 需要 扩大 影响 力 ， 让 自己 的 技术 成 果 在 更 
大 范围 内 产生 价值 ， 为 测试 领域 、 研 发 领域 做 出 贡献 。 


【存在 的 问题 】 


这 个 版 本 的 任职 资格 标准 存在 以 下 问题 : 


. 3 级 以 上 的 测试 工程 师 ， 在 测试 技术 能 力 上 的 内 容 几乎 一 样 ， 级 别 之 间 只 有 修饰 词 的 差别 ， 这 导致 研发 体系 有 一 个 困惑 
一 一 难道 测试 6 级 和 3 级 的 能 力 是 一 样 的 ， 只 是 做 的 项 目 更 多 更 大 ? 现在 回头 看 这 个 标准 ， 如 果 从 这 个 角度 上 解构 测试 能 力 ， 确 实 
无 法 写 出 区 别 ， 因 为 这 些 是 做 任何 一 个 项 目 都 需要 的 。 这 个 问题 在 上 一 个 版 本 的 任职 资格 标准 中 也 存在 ， 在 这 个 版 本 中 不 仅 没有 
改进 ， 反 而 更 严重 。 


` 对 高 级 别 工程 师 (4 级 以 上 ) 提出 的 产品 优化 的 要 求 不 具备 可 操作 性 ， 例 如 “单个 特性 或 DFX (如 性 能 ) 的 优化 ”， 测 试 
可 以 发 现 特 性 在 可 操作 、 可 运营 上 存在 的 问题 ， 可 以 给 出 性 能 指标 和 瓶颈 ,但 是 是 否 改 进 、 改 成 什么 样子 ， 那 是 客户 基于 成 本 、 
收益 、 内 部 管理 等 多 方面 的 因素 分 析 的 结果 ， 测 试 不 太 可 能 基于 测试 结果 ， 以 及 零星 了 解 到 的 客户 信息 就 给 出 真正 可 行 的 优化 意 
见 。 因 此 ， 测 试 提 出 有 效 的 产品 优化 意见 ， 那 是 可 遇 而 不 可 求 的 。 这 还 仅仅 是 最 低 的 标准 ， 至 于 提升 产品 竞争 力 ， 提 升 商业 价值 
的 优化 建议 ， 那 根本 就 是 架构 师 的 职责 。 因 此 ， 虽 然 出 发 点 是 好 的 ， 但 是 在 任职 资格 评定 中 ， 几 乎 没有 看 到 测试 工程 师 有 这 方面 
的 贡献 。 


第 一 版 的 两 个 重要 要 求 被 弱化 了 ， 这 也 表明 当时 测试 已 经 有 在 研发 内 部 退缩 、 固 守 在 测试 环节 的 倾向 ， 这 个 倾向 使 测试 很 少 
站 在 客户 的 角度 理解 产品 、 站 在 研发 的 利益 看 待 问题 ， 这 是 测试 后 来 很 多 地 位 方面 问题 的 根源 之 一 。 这 两 个 被 弱化 的 重要 要 求 


二 用 
AE. 


` 要 求 高 级 别 工程 师 (4 级 以 上 ) 在 质量 、 成 本 、 计 划 、 进 度 和 客户 满意 度 以 及 产品 的 可 测试 性 、 可 生产 性 、 可 维护 性 或 关 
键 技术 解决 有 重要 影响 〈4 级 ) 刀 至 支持 决策 〈6 级 ) 。 


* 要 求 测试 的 技术 决策 是 基于 对 市 场 、 关 键 竞争 对 手 、 商 业 / 技 术 环 境 的 了 解 而 做 出 的 。 


与 前 一 版 本 一 样 ， 从 现在 的 角度 看 这 个 标准 ， 责 任 范围 的 划分 把 产品 当做 孤立 的 个 体 看 待 ， 不 能 适应 越 来 越 多 样 的 产品 集成 
解决 方案 的 要 求 。 


【TSE 角 色 职 责 演变 】 


2007 年 以 后 ，TSE 的 定位 逐渐 偏向 以 技术 为 主 ， 在 产品 测试 中 的 投入 为 辅 ， 主 要 肩负 团队 DFX 测 试 ， 以 及 测试 技术 能 力 提升 
的 职责 。 多 数 的 TSE 都 是 在 做 自动 化 、DFX 尤 其 是 性 能 测试 中 成 长 起 来 的 ， 华 为 的 自动 化 测试 框架 、 性 能 测试 和 可 靠 性 测试 的 技 
术 积 累 也 是 从 这 以 后 开始 丰富 起 来 。 


这 样 的 TSE 定 位 虽然 让 测试 技术 和 工具 在 较 短 时 间 内 得 到 了 突破 ， 但 是 也 有 一 部 分 TSE 在 产品 研发 部 的 影响 力 被 削弱 。 
3.2013 年 版 本 

这 个 版 本 的 任职 资格 标准 在 网 上 也 无 法 找到 原文 ， 仍 然 是 简单 介绍 一 下 。 

【任职 资格 标准 】 


3 级 (5 年 左右 ) 要 求 (变化 不 大 ) : 


“ 主持 R 版 本 (大 概 一 个 产品 一 年 2 个 ) 测试 ， 测 试 活动 覆盖 迭代 测试 、 集 成 验证 。 主 要 工作 包括 一 一 测试 策略 和 测试 设 
计 、 测 试用 例 基线 建设 、 持 续集 成 和 自动 化 方案 设计 实现 、 测 试 环 境 规划 管理 、DFEX 验 证 、 产 品 商用 评估 和 闭环 改进 。 验 证 内 容 
和 客户 需求 一 致 ， 市 场 项 目 成 功 。 


. 主导 实验 局 验收 或 者 重点 项 目 交 付 ， 主 要 工作 包括 一 一 现场 测试 过 程 的 质量 控制 、 客 户 沟通 和 验收 测试 、 研 发 内 部 沟通 和 


交付 保障 。 客 户 验收 测试 通过 率 高 。 


“ 及 版 本 上 市 后 ， 无 测试 遗漏 导致 的 事故 ， 无 重复 网 上 问题 ， 无 老 特性 丢失 问题 。 


5 级 〈10 年 以 上 ) 要 求 : 


. 主持 全 新 主力 产品 测试 架构 设计 实现 ， 测 试 架 构 符 合 产品 架构 和 行业 特征 ， 匹 配 开发 过 程 和 上 市 节奏 (比如 沙 箱 、 灰 度 发 
布 ) (5 级 ) 。 测 试 架构 解决 了 产品 竞争 力 评估 、 测 试 成 本 降低 、 测 试 效率 提升 、 测 试 准确 性 提升 等 难题 ， 能 确保 问题 尽早 发 


现 ， 风 险 提 前 识别 和 控制 〈4 级 要 求 优化 已 有 架构 ， 改 进 这 些 问 题 。5 级 及 以 上 要 求 建立 架构 ， 解 决 这 些 问题 ) ， 支 撑 了 产品 商业 
成 功 。 


. 主导 跨 产 品 的 解决 方案 预 集 成 和 交付 (4 级 开始 由 此 要 求 ) 。 


“ R 版 本 上 市 后 ， 无 测试 遗漏 导致 的 事故 ， 无 重复 网 上 问题 ， 无 老 特 性 丢失 问题 。 


* 在 项 目 或 产品 研发 的 早期 ， 识别 影响 商业 成 功 或 竞争 力 的 关键 问题 ， 并 帮助 研发 团队 对 问题 形成 准确 认 知 (给 出 具体 的 测 
试 结果 或 数据 ) ， 组 织 联合 团队 成 功 解 决 问题 ， 促 成 产品 商业 成 功 或 实现 差异 化 竞争 力 。 


* 主导 重点 测试 技术 研究 和 实施 ， 输 出 的 成 果 被 其 他 产品 重用 ， 并 取得 了 质量 、 效 率 、 成 本 上 的 改进 。 
【级 别 间 的 主要 区 别 】 
任职 资格 标准 中 各 个 级 别 间 的 主要 区 别 有 : 


* 年 限 。 写 在 纸 面 上 的 年 限 要 求 被 去 掉 了 。 这 意味 着 每 年 都 可 以 申请 ， 但 更 多 的 意味 着 自己 扼 量 ， 党 得 够 格 再 申请 ， 因 为 标 
准 本 身 已 经 足够 高 ， 不 需要 在 年 限 上 做 硬性 要 求 。 


* 责任 范围 (与 前 一 版 本 一 样 ) 。 一 般 特 性 一 复杂 特性 一 小 型 项 目 一 中 、 大 型 项 目 一 产品 一 多 个 产品 。 


. 技术 能 力 。 设 计 /执行 /自动 化 实现 一 设计 /执行 /自动 化 设计 /DRX/ 评 估 一 策略 /设计 /执行 /自动 化 /DFX/ 评 估 (产品 测 
试 ) 一 产品 测试/ 测试 架构 优化 / 预 集成 一 产品 测试 /测试 架构 搭建 / 预 集成 /产品 商业 价值 贡献 一 产品 测试/ 测试 技术 创新 / 预 集成 / 
产品 商业 价值 贡献 。 


: 产品 优化 (4 级 以 上 ， 与 前 一 版 本 一 样 ) 。 单 个 特性 或 DFX (如 性 能 ) 的 优化 一 提升 产品 竞争 力 一 提升 产品 商业 价值 。 


. 测试 技术 建设 (4 级 以 上 ， 与 前 一 版 本 一 样 ) 。 解 决 测试 问题 一 对 研发 全 流程 产生 价值 一 被 客户 使 用 、 产 生 商业 价值 。 
【 正 向 牵引 作用 】 
任职 资格 标准 对 测试 工程 师 的 发 展 起 到 如 下 正 向 牵引 作用 。 
从 前 一 版 本 延续 了 一 些 正 向 牵引 ， 包 括 : 
. 责任 范围 的 划分 ， 明 确 了 任职 资格 必须 是 在 产品 的 开发 测试 过 程 中 培养 出 来 的 。 
. 高 级 别 工程 师 (5 级 以 上 ) 的 责任 范围 立足 于 “产品 ”而 不 再 是 “项 目 ”。 
" DFX 测 试 、 测 试用 例 基线 、 版 本 质量 评估 等 内 容 正 式 纳入 任职 资格 标准 。 
. 对 高 级 别 工 程 师 提 出 了 测试 技术 建设 的 要 求 。 


对 高 级 别 工 程 师 (4 级 以 上 ) 提出 了 产品 优化 的 要 求 ， 包 括 从 单个 特性 或 DFX (如 性 能 ) ， 到 产品 竞争 力 ， 直 至 商业 价值 的 
优化 建议 。 并 且 明 确 测试 是 通过 识别 出 问题 、 测 试 出 结果 (可 能 是 产品 实测 ， 也 可 能 是 况 品 对 比 、 推 算 预 测 的 结果 ) 的 方式 ,在 
产品 优化 中 发 挥 作 用 。 上 一 个 版 本 的 解读 中 提 到 ， 这 个 要 求 的 出 发 点 是 让 测试 工程 师 关 注 产 品 的 商业 应 用 ， 跟 随 产 品 的 商业 成 功 
获得 个 人 的 发 展 ， 出 发 点 正确 ， 但 无 法 落实 。 这 个 版 本 的 修订 ， 给 出 了 测试 工程 师 参与 产品 优化 的 一 个 可 行 的 途径 。 


将 高 级 别 工 程 师 (4 级 以 上 ) 的 职责 从 特性 、DFX 测 试 ， 扩 展 到 测试 架构 (参见 6.2 节 “支持 基本 价值 实现 的 测试 架构 ”) 的 
优化 、 创 建 和 创新 ， 直 至 跨 产 品 集成 验证 。 这 样 ， 不 同 级 别 能 够 承担 的 责任 有 了 明确 的 差别 ， 而 研发 体系 也 认可 这 些 新 增 职责 需 


要 更 高 的 能 力 。 从 第 一 个 版 本 就 困扰 测试 的 、 关 于 级 别提 升 但 能 力 要求 不 变 的 问题 ， 从 这 里 开始 找到 了 突破 口 。 而 且 ， 新 写 入 任 
职 资格 标准 的 这 些 职责 并 非 赁 空 编造 ， 一 些 高 级 别 工 程 师 已 经 承担 这 些 工 作 ， 只 是 没有 通过 任职 体系 得 到 确认 。 


从 第 一 个 版 本 恢复 的 正 向 牵引 ， 包 括 : 


` 要 求 高 级 别 工程 师 (4 级 以 上 ) 在 质量 、 成 本 、 计 划 、 进 度 和 客户 满意 度 以 及 产品 的 可 测试 性 、 可 生产 性 、 可 维护 性 或 关 
键 技术 解决 有 重要 影响 〈4 级 ) 刀 至 支持 决策 〈6 级 ) 。 


:要求 测试 的 技术 决策 是 基于 对 市 场 、 关 键 竞争 对 手 、 商 业 / 技 术 环境 的 了 解 而 做 出 的 。 
【存在 的 问题 】 


这 个 版 本 的 任职 资格 标准 存在 以 下 问题 : 要 求 高 级 别 工 程 师 (4 级 以 上 ) 参与 产品 优化 ， 提 出 单个 特性 或 DFX (如 性 能 


优化 的 第 一 步 ， 多 数 测试 工程 师 在 产品 优化 中 起 到 的 是 辅助 作用 ， 很 难 拿 出 一 个 完整 的 、 证 明 自 己 在 产品 优化 中 起 到 关键 作用 的 
案例 ， 而 且 也 没有 一 个 正式 的 研发 活动 使 测试 专家 在 正常 的 工作 中 锻炼 这 方面 能 力 。 因 此 能 达到 这 个 要 求 的 测试 工程 师 ， 更 多 的 
还 是 个 人 机 遇 的 结果 。 


【TSE 角 色 职 责 演变 】 


产品 领导 已 经 不 满足 于 TSE 在 测试 领域 、 测 试 技术 上 发 挥 的 作用 ， 开 始 倾向 于 让 TSE 在 项 目 ， 尤 其 在 大 型 的 跨 产品 集成 解决 
方案 中 发 挥 作用 。TSE 开 始 细 分 ， 有 负责 专项 测试 的 DFX 测 试 TSE; 有 负责 测试 技术 和 工具 建设 、 研 发 团队 测试 能 力 提升 的 测试 
技术 TSE; 有 主导 跨 产品 集成 解决 方案 测试 的 解决 方案 TSE。 


解决 方案 TSE 通 过 自己 对 解决 方案 的 产品 测试 、 产 品质 量 把 控 、 研 发 效率 提升 等 一 系列 活动 ， 对 研发 内 部 形成 单产 品 的 质量 
门槛 、 测 试 要 求 ; 对 外 培养 产品 专家 ， 支 撑 项 目 交付 。 这 样 ， 集 成 解决 方案 验证 就 不 仅仅 是 一 个 测试 类 型 ， 需 要 的 能 力也 不 局 限 
于 测试 技术 和 工具 。 


从 2001 年 开始 ， 测 试 工程 师 任职 资格 标准 经 历 了 3 次 大 的 修订 ， 每 次 标准 的 修订 ， 事 实 上 都 打上 了 那个 时 期 的 烙印 ， 代 表 了 
当时 对 测试 职责 的 理解 和 倡导 的 技术 方向 。 最 后 的 这 次 修订 也 不 例外 ， 因 此 ， 现 在 的 标准 也 不 会 是 最 后 一 个 版 本 。 事 实 上 ， 在 标 
准 制定 的 过 程 中 ， 对 测试 能 力 的 定义 也 在 同步 讨论 和 刷新 ， 在 标准 发 布 的 时 候 也 没有 完成 。 可 以 预见 在 测试 能 力 重 新 定义 后 ， 任 
职 标准 还 将 刷新 。 


TSE 这 个 角色 从 诞生 起 ， 就 是 测试 工程 师 职 业 发 展 的 风向 标 ， 研 发 主管 对 TSE 提 出 的 能 力 要 求 和 任职 建议 ， 常 常 也 就 是 对 整 
个 测试 团队 的 期 望 。 因 此 ， 从 TSE 职 责 的 发 展 ， 也 折射 出 了 测试 团队 职能 的 发 展 趋势 : 最 初 是 通过 做 好 测试 设计 ， 保 证 测试 的 质 
量 和 效率 ; 后 来 需要 做 好 DFX 测 试 ， 通 过 技术 和 工具 手段 提升 测试 团队 整体 能 力 ; 再 后 来 是 为 研发 体系 搭建 测试 架构 ， 提 升 从 需 
求 到 交付 的 整体 的 质量 和 效率 。 


5.5 ”测试 能 力 持续 发 展 的 环境 


测试 能 力 的 持续 发 展 ， 需 要 环境 的 支持 ， 这 个 环境 即 称 之 为 平台 。 这 里 的 平台 指 的 是 与 团队 能 力 发 展 有 关 的 团队 文化 、 信 息 
渠道 、 专 家 资源 、 工 作 环境 、IT 流 程 等 。 所 有 这 些 构成 的 工作 环境 ， 就 是 测试 团队 和 测试 工程 师 能 力 发 展 的 平台 。 


【作用 】 

团队 能 力 发 展 平台 的 作用 ， 是 实现 团队 能 力 的 承载 、 获 取 、 应 用 和 发 展 。 

测试 团队 能 力 发 展 平台 ， 这 里 只 介绍 3 方面 的 内 容 : 测试 知识 的 管控 和 治理 ， 产 品 信息 的 管控 和 治理 ， 人 员 的 成 长 和 发 展 。 
前 两 个 算是 “ 硬 环境 ”， 关 注 的 是 测试 工作 所 需要 的 信息 能 够 快速 获取 ; 后 一 个 算是 “软环境 ”， 关 注 的 是 价值 导向 、 氛 围 的 建 
设 。 本 节 开 头 提 到 的 IT 流程 运转 和 管理 所 需 的 平台 一 般 不 由 测试 团队 参与 建设 ， 因 而 也 不 在 本 章 介绍 
5.5.1 ”测试 知识 的 管控 和 治理 

测试 知识 的 管控 和 治理 ， 测 试 团队 基本 上 可 以 依靠 自己 的 力量 完 


测试 知识 包括 测试 工作 所 需 的 输入 或 参考 信息 ， 以 及 测试 各 项 工作 所 生产 的 信息 ， 内 容 范围 如 图 5-15 所 示 。 


> 需求 分 析 > 设计 > 开发 > 测 荆 > 验收 > 
各 阶段 测试 需要 输出 的 交付 件 模板 
各 阶段 测试 需要 使 用 的 工具 
各 阶段 测试 活动 的 指导 书 、 检 查 表 、 规 范 、 标 准 
各 阶段 测试 活动 的 培训 教材 、 优 秀 交付 件 样 例 
缺陷 和 问题 分 析 ， 技 术 开发 工作 的 总 结 ， 案 例 
兄弟 团队 、 测 试 同行 、 产 品 同业 的 相关 信息 


客户 信息 库 : 客户 组 网 、 组 织 、 场 景 、 指 标 、 业 务 概念 等 
测试 配置 库 : 测试 策略 、 方 案 、 用 例 、 报 告 、 过 程 记 录 ; 测试 基线 库 等 


产品 配置 库 : 特性 、 需 求 、 设 计 、 代 码 ; 数据 、 接 口 定义 等 


规范 库 : 规范 、 可 靠 性 故障 模式 、 安 全 故障 模式 、 各 设计 规范 等 


图 5-15 ”测试 资产 管 治 参考 模型 
内 容 大 概 包 括 : 
1) 测试 资产 ， 由 测试 团队 自主 管理 的 信息 资产 ， 包 括 以 下 内 容 。 


` 模板 。 各 阶段 测试 需要 输出 的 交付 件 的 模板 ， 主 要 指 测试 计划 、 测 试 策略 、 测 试 方案 、 测 试用 例 、 缺 陷 、 测 试 报告 等 产品 
测试 工作 所 需 的 模板 ， 也 包含 缺陷 分 析 、 项 目 总 结 等 其 他 工作 所 需 的 模板 。 


: 工具 。 各 阶段 测试 需要 使 用 的 工具 ， 主 要 指 功 能 、 性 能 和 其 他 DFX 等 测试 执行 所 需 的 工具 ， 也 包括 测试 设计 、 数 据 记 录 和 
分 析 、 风 险 和 问题 跟踪 管理 等 其 他 日 常 工作 所 需 的 工具 。 


* 指导 。 各 阶段 测试 活动 的 指导 书 、 检 查 表 、 规 范 、 标 准 等 。 通 常 是 把 一 些 行 之 有 效 的 做 法 总 结 成 各 种 形式 的 指导 ， 让 今后 
承担 这 些 工 作 的 工程 师 循 着 既定 的 方式 做 事 ， 少 犯错 误 。 这 部 分 内 容 范 围 比 较 广 ， 常 见 的 如 性 能 测试 指导 书 、 测 试 分 析 和 设计 指 


导 书 ; 测试 设计 检查 表 、 测 试 项 目 管理 检查 表 ; 自动 化 用 例 编 写 规范 等 。 


` 参考 。 各 阶段 测试 活动 的 培训 教材 、 优 秀 交 付 件 样 例 等 。 通 常 把 前 人 犯 过 的 错误 、 做 过 的 有 益 尝 试 总 结 成 培训 教材 和 优秀 
案例 ， 让 今后 承担 这 些 工 作 的 工程 师 可 以 尽快 学 习 和 掌握 工作 方法 。 内 容 一 般 集 中 在 测试 策略 、 测 试 设计 、DEFX 测 试 、 缺 陷 分 
析 、 测 试 结果 评估 等 具有 创造 性 的 工作 。 


人 案例。 任何 工 作 中 的 得 失 都 可 以 总 结 出 案例 ， 值 得 总 结 并 供 团 队 成 员 共 同学 习 的 案例 如 : 致命 缺陷 分 析 案 例 、 客 户 问题 分 
析 人 案例 、 某 特性 自动 化 测试 总 结 、 某 客户 验收 测试 总 结 等 。 ( 注 : 以 上 指导 、 参 考 、 案 例 都 是 测试 从 自己 的 失误 或 者 成 功 中 总 结 
出 来 的 信息 资产 ， 指 导 类 的 资产 提炼 和 抽象 出 了 具体 的 方法 ， 因 而 最 实用 ; 参考 类 的 资产 给 出 了 可 供 学 习 的 资料 ， 重 用 率 也 比较 
高 ; 案例 类 的 资产 最 直接 的 作用 是 帮助 工程 师 拓展 视野 、 积 累 经 验 。) 


* 行业 信息 。 兄 弟 团队 、 测 试 同行 、 产 品 同业 的 相关 信息 ， 兄 弟 团队 、 业 界 同行 分 享 的 模板 、 指 导 、 参 考 、 案 例 类 的 资产 ， 
或 者 他 们 使 用 的 测试 方法 和 工具 等 信息 。 


2) 研发 资产 ， 在 研发 的 统一 框架 下 管理 的 信息 资产 ， 测 试 需要 用 到 以 下 资产 。 
: 客户 信息 库 。 包 括 客户 采用 的 组 网 方案 、 相 关 组 织 结构 、 业 务 场景 、 产 品 和 业务 指标 、 业 务 相关 的 主要 概念 等 信息 ， 具 体 
内 容 参见 7.2.2 节 “客户 视角 的 产品 质量 评估 ”。 


` 测试 配置 库 。 包 括 测试 策略 、 方 案 、 用 例 、 报 告 、 过 程 记 录 等 在 产品 测试 过 程 中 产生 的 信息 ， 以 及 保存 测试 用 例 及 其 执行 
结果 的 测试 用 例 基 线 库 (具体 内 容 参 见 3.1.3 节 “建立 测试 用 例 基 线 ”) 


" 产品 配置 库 。 产 品 研发 过 程 中 产生 的 信息 ， 包 括 特性 、 需 求 清单 ; 分 析 、 设 计 过 程 中 产生 的 模型 和 文档 ; 代码 ; 数据 、 接 
口 定义 等 。 


` 规范 库 。 包 含 产品 所 处 业务 领域 的 相关 规范 ; 产品 研发 的 内 部 规范 《设计 规范 、 代 码 规范 等 ) ; 产品 开发 测试 所 遵循 的 其 
他 依据 (如 可 靠 性 故障 模式 、 安 全 漏洞 库 等 ) 。 


测试 团队 主要 负责 测试 资产 的 管控 和 治理 。 对 于 研发 资产 ， 主 要 关注 信息 获取 的 渠道 和 完整 性 。 


测试 知识 和 信息 的 管 治 ， 首 先 需 要 统一 术语 和 缩 略语 。 测 试 领域 的 术语 和 缩 略 语 是 比较 乱 的 ， 例 如 回归 测试 ， 可 能 A 襄 的 是 
缺陷 修改 之 后 针对 修改 代码 的 测试 ，B 说 的 是 下 一 轮 测试 中 把 上 一 轮 的 基本 用 例 全 部 测试 一 遍 。 产 品 在 长 时 间 运 行 后 处 理 能 力 下 
降 ， 有 些 产品 是 性 能 缺陷 ， 有 些 产 品 是 可 靠 性 缺陷 。 因 此 ， 首 先 尽 可 能 把 常用 的 术语 进行 统一 定义 ， 明 确 每 个 术语 的 含义 和 边 
界 ， 在 这 个 基础 上 搭建 测试 知识 和 信息 的 管 治平 台 才 有 可 能 便于 检索 和 使 用 。 

我 们 的 产品 测试 团队 在 术语 的 规范 上 是 有 过 惨痛 的 教训 的 。 由 于 缺乏 这 方面 工作 ， 服 务 器 上 接近 100G 的 各 类 手册 、 培 训 资 
料 、 指 导 书 、 经 验 、 行 业 资 料 、 工 具 资 料 分 类 及 其 混乱 ， 虽 然 经 过 数 次 整理 ， 都 没有 能 够 彻底 解决 问题 ， 寻 找 资 料 只 能 依靠 人 脑 
记忆 ， 当 组 织 结构 和 部 门 几经 调整 之 后 ， 有 些 资料 就 没有 人 会 用 了 ， 这 是 巨大 的 浪费 。 

测试 术语 的 定义 可 以 以 研发 流程 为 基础 ; 产品 术语 的 定义 要 以 产品 特性 为 基础 。 术 语 的 规范 是 一 个 渐进 的 过 程 ， 不 可 能 一 开 
始 就 把 所 有 的 术语 都 识别 出 来 、 定 义 清 楚 ， 因 此 术语 必须 有 固定 的 维护 责任 人 ， 确 保 版 本 唯一 。 


测试 知识 和 信息 的 管 治平 台 需 要 做 到 信息 随时 、 随 地 可 获取 。 推 荐 建设 内 部 网 站 作为 知识 和 信息 管 治 的 平台 。 我 们 曾经 尝试 
用 文件 服务 器 、 知 识 检索 和 管理 工具 、 网 站 等 几 种 平台 进行 测试 信息 管 治 ， 网 站 是 目前 最 方便 使 用 的 方式 。 


指导 书 、 模 板 、 检 查 表 、 规 范 、 培 训 教 材 、 工 具 这 些 经 过 正式 的 整理 和 归纳 的 信息 ， 推 荐 使 用 分 类 检索 的 方式 ， 并 且 做 好 更 
新 权限 的 控制 和 版 本 的 管理 ;经验 总 结 、 案 例 、 产 品行 业 相关 材料 、 测 试 业界 相关 材料 、 其 他 扩展 资料 等 信息 ， 推 荐 采用 关键 字 
检索 的 方式 。 为 了 让 知识 被 利用 起 来 ， 可 以 考虑 引入 一 些 游戏 的 元 素 ， 比 如 : 积分 、 点 赞 、 吐 槽 等 。 


行 、 看 自己 (参见 3.3 节 “ 受 攻击 出 错 ”) 寻求 一 个 问题 的 解决 方法 时 ， 丰 富 的 渠道 有 利于 工作 的 快速 启动 。 当 需要 多 向 外 看 
看 ， 拓 展 视 野 、 启 发 思想 时 ， 丰 富 的 渠道 有 利于 找到 学 习 的 头绪 。 这 些 渠道 通过 表格 管理 即 可 ， 每 个 渠道 最 好 有 链接 、 作 者 、 初 
创 时 间 、 内 容 简介 等 摘要 信息 。 


除了 上 述 信息 ， 还 需要 对 兄弟 团队 、 测 试 同行 、 产 品 同业 的 相关 信息 获取 渠道 进行 梳理 和 管理 。 当 需要 通过 看 业界 、 看 同 


5.5.2 ”产品 信息 的 管 治平 台 


产品 信息 的 管控 和 治理 ， 是 研发 团队 的 职责 。 从 测试 的 角度 看 ， 最 基本 的 需求 是 ， 能 够 获得 尽 可 能 全 面 的 信息 ， 特 别 是 需求 
和 设计 的 变更 信息 。 


目前 产品 的 信息 管理 的 对 象 是 文档 。 一 般 以 特性 清单 为 主要 线索 ， 至 少 包含 特性 的 以 下 信息 : 
需求 文档 。 功 能 、DFX 需 求 的 描述 、 对 应 的 应 用 场 最 等 。 

“ 应 用 场景 说 明 书 。 包 括 参 与 角色 、 操 作 时 序 、 约 束 、 高 层 方案 设计 等 。 

“ 设计 文档 。 设 计 方 案 ， 验 收 标 准 、 主 要 影响 要 素 、 接 口 、 参 数 等 。 

` 验证 文档 。 验 收 用 例 、 测 试用 例 、 测 斌 结果、 缺陷 报告 、 用 例 执 行 过 程 数 据 等 。 

“ 使 用 情况 。 使 用 此 特性 的 客户 、 使 用 频次 、 质 量 表 现 等 。 


以 上 这 些 信 息 在 产品 的 生命 周期 内 是 会 变化 的 ， 因 此 ， 产 品 信 息 管 治平 台 需 要 满足 : 利益 相干 人 能 够 第 一 时 间 、 准 确 地 获得 
变更 信息 。 


及 时 获取 变更 信息 的 障碍 通常 并 不 是 工具 ， 而 是 人 。 一 个 简单 的 配置 管理 工具 就 可 以 有 效 地 管理 变更 ， 但 是 问题 常常 是 文档 
的 作者 只 在 归档 期 限 来 临 的 时 候 ， 才 提交 更 新 后 的 文档 。 


解决 这 个 问题 有 两 种 思路 : 一 种 是 所 有 的 工作 都 在 云 上 进行 ， 工 作 输 出 不 在 本 地 保留 ， 另 一 种 是 裁剪 文档 ， 部 分 设计 文档 和 
代码 合并 。 这 两 种 思路 都 还 在 实践 中 。 


对 产品 信息 的 管控 和 治理 ， 下 一 步 的 实践 是 尝试 将 管理 对 象 由 “文档 ”转变 为 “模型 。。 将 特性 的 应 用 场景 作为 核心 模型 进 
行 管理 ， 对 特性 功能 性 的 分 析 、 设 计 、 验 证 都 基于 这 个 模型 ， 每 个 环节 都 基于 自己 的 目的 向 模型 中 补充 信息 ， 最 终 开发 会 基于 模 
型 生成 代码 框架 、 测 试 会 基于 模型 生成 测试 用 例 。 


这 样 一 来 ， 研 发 各 环节 就 基于 同一 个 对 象 进行 协作 ， 信 息 传 递 失真 的 可 能 性 大 大 降低 ， 有 利于 研发 各 环节 上 下 游 有 效 协 作 。 


产品 信息 的 管控 和 治理 ， 除 了 需要 让 研发 各 个 角色 能 够 便捷 、 及 时 地 获取 信息 ， 还 需要 更 好 地 服务 于 研发 质量 和 效率 的 提 
升 。 我 们 的 研发 工具 开发 团队 目前 正在 党 试 产品 信息 和 项 目 数 据 的 互联 互通 ， 特 性 相关 的 用 例 测试 覆盖 和 通过 情况 、 指 标 测试 结 
果 、 风 险 和 问题 、 缺 陷 、 进 度 和 质量 过 程 数据 都 要 进行 关联 ， 可 以 被 研发 团队 各 个 角色 及 时 获取 和 分 析 ， 以 便 更 主动 地 识别 和 应 
对 风险 。 更 多 这 方面 的 实践 可 以 参考 业界 关于 ALM (application lifecycle management) 的 信息 。 


5.5.3 工程师 个 人 成 长 和 发 展 环境 


测试 工程 师 的 成 长 和 发 展 环境 ， 从 宏观 上 看 ， 就 是 公司 整体 的 价值 观 、 文 化 、 人 力 资源 发 展 模式 等 ， 这 是 一 个 管理 上 的 课 
题 ， 显 然 不 是 本 书 能 够 涵盖 的 内 容 。 这 里 只 讲 讲 从 微观 上 看 ， 营 造 有 利于 测试 工程 师 成 长 和 发 展 的 环境 时 ， 需 要 注意 的 点 。 


个 人 的 成 长 和 团队 所 处 的 业务 环境 的 关系 非常 大 ， 例 如 : 在 市 场 主导 研发 时 ， 通 常 擅长 沟通 、 在 工作 中 很 好 地 处 理 了 客户 关 


系 、 帮 助 产品 顺利 交付 的 工程 师 会 得 到 比较 多 的 发 展 机 会 。 在 产品 通过 创新 引领 客户 需求 时 ， 通 常 善 于 进行 数据 分 析 、 帮 助 产 品 
发 现 客户 需求 的 工程 师 会 得 到 比较 多 的 发 展 机 会 。 在 追求 内 部 效率 提升 时 ， 通 常 把 自动 化 做 到 较 高 水 平 的 团队 会 得 到 较 多 机 会 。 

但 是 ， 并 不 建议 工程 师 们 太 功 利 ， 因 为 这 些 发 展 的 机 会 窗口 出 现时 ， 研 发 团队 会 选择 已 经 具备 能 力 、 做 出 过 相应 贡献 的 人 去 
承担 。 建 议 测试 工程 师 们 最 好 还 是 “只 管 耕耘 ， 不 问 收获 ”， 把 自己 的 本 职 做 好 ， 对 于 跨 团队 合作 、 难 度 高 、 陌 生 的 工作 不 要 推 
透 逃 避 ， 这 可 能 是 寻求 个 人 发 展 最 好 的 方式 。 


在 团队 管理 上 “激励 什么 ， 就 会 得 到 什么 ”， 想 要 得 到 富有 才干 的 测试 工程 师 ， 测 试 经 理 们 必然 是 要 激励 那些 肯 创 新 、 完 成 
工作 高 效 、 交 付 件 质量 好 、 并 且 善 于 总 结 分 享 的 测试 工程 师 。 


作为 基层 测试 团队 的 管理 者 ， 测 试 经 理 有 时 无 法 直接 决定 团队 内 测试 工程 师 的 和 薪酬， 能够 使 用 的 物质 上 的 激励 措施 也 很 少 ， 
更 多 的 是 使 用 日 常 管理 上 的 激励 措施 : 


* 任务 启动 之 初 ， 花 时 间 讨 论 明 确 工作 要 求 ， 并 提供 必要 的 帮助 ， 使 测试 工程 师 能 够 获取 必要 的 资源 。 


* 在 任务 安排 上 ， 既 有 已 经 擅长 做 的 事 ， 也 有 类 似 跨 团队 合作 、 变 革 创 新 、 全 新 业务 、 技 术 或 业务 决策 这 样 更 富 挑战 的 职 


明确 个 人 职责 和 团队 目标 、 产 品目 标 之 间 的 联系 ， 并 定期 讨论 回顾 取得 的 进展 、 遇 到 的 困难 、 采 用 的 解决 方法 。 
这 样 的 激励 从 短期 看 会 让 人 觉得 “ 越 努 力 压力 越 大 ” ， 但 从 长 期 看 却 是 得 到 了 更 多 展现 才华 的 机 会 。 


鼓励 工程 师 之 间 、 团 队 之 间 面 对 面 的 沟通 交流 ， 也 有 助 于 测试 工程 师 的 成 长 。 在 我 们 的 测试 团队 有 一 个 定期 的 测试 技术 论坛 
(testing technique forum，TTF) 会 议 ， 算 是 测试 工程 师 之 间 协 作 的 平台 。 这 个 会 议 的 与 会 者 是 各 个 测试 组 内 的 技术 骨干 ， 
主要 是 讨论 产品 的 测试 策略 、 测 试 报告 、 质 量 回溯 报告 、 测 试 方法 、 技 术 规 划 及 其 实施 方案 等 。 这 些 工作 通常 有 专门 的 人 负责 ， 
通过 这 个 会 议 起 到 取长补短 、 相 互 借鉴 的 作用 。 


5.6 测试 的 组 织 能 力 模型 


一 个 组 织 随 着 人 员 变 动 、 时 间 推 移 都 会 发 生 “ 知 本 ”流失 ， 知 识 管理 是 抵御 知 本 流失 的 重要 手段 。 测 试 工程 师 在 学 习 、 工 作 
中 掌握 了 知识 ， 并 将 其 固化 为 方法 和 工具 、 流 程 或 知识 管理 平台 的 其 他 内 容 。 知 识 管理 平台 反 过 来 又 帮助 测试 工程 师 更 便捷 地 学 
习 、 更 有 效 地 开展 工作 。 

本 章 把 测试 需要 管理 的 知识 分 为 方法 和 工具 、 流 程 、 组 织 、 平 台 几 个 部 分 ,分 别 介绍 每 个 部 分 包含 的 内 容 ， 以 及 在 能 力 建设 
上 需要 注意 的 内 容 。 如 表 5-4 所 示 。 


表 5-4 ”测试 过 程 可 控 涉及 的 技术 


测试 设计 方法 、 测 试 策略 分 析 的 方 
方法 和 工具 | 法、 自动 化 的 方法 和 工具 、 缺 陷 分 析 的 解决 “怎么 做 ”的 问题 
方法 、 环 境 管 理 的 方法 和 工具 等 


测试 技术 全 景 图 ， 测 
试 类 型 全 景 图 


流程 本 身 作 为 一 种 能 力 ， 已 经 在 研发 
团队 有 效 的 运转 。 测试 能 力 和 流程 结 | 人 么 角色 在 
a 合 ， 部 分 能 力 固化 在 流程 中 ， 这 些 能 力 | 和 各 好 “什么 标 | 【PD 流程 中 落实 的 测试 
可 以 确保 流程 更 健康 地 运转 ， 同 时 通 | ,win | 关键 能 力 
过 流程 的 控制 也 能 够 使 这 些 能 力 在 质 | 准 “ 亿 什么 事 ”的 门 是 
最、 效率 上 发 挥 作用 


测试 专家 类 别 ; 
测试 人 员 技 能 模型 


与 团队 能 力 发 展 有 关 的 : 团队 文化 、| 测试 知识 的 管 治平 台 、 
ne 帮助 团队 能 力 的 承载 .| 
信息 渠道 、 专 家 资源 、 工 作 环境 、IT | 训 。 启 用 和 发展 产品 信息 的 管 治平 台 搭建 

C 、 俯 < 
流程 等 中 需要 解决 的 问题 


组 织 和 人 员 | 测试 人 员 的 知识 结构 能 力 发 挥 价值 的 关键 


| 
小 


测试 团队 的 组 织 能 力 ， 除 了 知识 的 部 分 ， 还 有 管理 的 部 分 ， 以 及 让 能 力 发 挥 效用 的 “人 ” ， 因 此 测试 组 织 的 完整 能 力 视图 如 
图 5-16 所 示 。 


测试 组 织 能 力 中 ， 管 理 部 分 的 内 容 如 图 5-17 所 示 。 


缺陷 管理 和 实验 室 环境 管理 ， 是 测试 特有 的 管理 内 容 。 过 程 管理 和 项 目 管理 ， 需 要 在 研发 的 管理 体系 下 ， 开 展 测试 相关 的 活 
动 和 过 程 管理 。 文 件 管理 包含 知识 管理 和 配置 管理 。 团 队 沟通 和 周边 沟通 ， 是 项 目 以 及 团队 管理 的 辅助 动作 。 


测试 组 织 能 力 中 ， 人 员 部 分 的 内 容 参 见 5.4 节 “组织 建设 和 人 员 能 力 模型 ”中 关于 专家 角色 和 测试 工程 师 能 力 模型 的 介绍 。 


组 织 能 力 的 承载 体 : 流 
程 、 方 法 /工具 、 平 台 、 人 。 
对 这 些 承 载体 的 有 效 管理 
确保 能 力 的 持续 积累 和 
应 用 


测试 工程 师 能 力 模型 


图 5-16 ”组 织 能 力 模 型 


过 程 管理 
项 目 管理 
组 织 能 力 的 承载 体 : 流 
络 管 也 
2 程 、 广 法/ 工具、 平台、 人 。 
建立 存储 结构 、 交 付 件 管理 对 这 些 承 载体 的 有 效 管理 
建立 跟踪 关系 并 进行 跟踪 确保 能 力 的 持续 积累 和 应 用 
资源 和 实验 室 环 境 管理 ee 
周边 沟通 协调 组 织 能 力 技术 方法 
平台 
工具 
人 


测试 工程 师 能 力 模型 


图 5-17 组 织 能 力 模型 一 一 管理 


测试 组 织 能 力 中 ， 平 台 部 分 的 内 容 如 图 5-18 所 示 。 包 含 开展 工作 所 需 的 测试 知识 和 产品 信息 平台 ， 以 及 人 员 发 展 所 需 的 组 
织 平台 、 发 展 通 道 。 详 细 内 容 参 见 5.5 节 “测试 能 力 持 续 发 展 环境 ”。 


测试 组 织 能 力 中 ， 流 程 部 分 的 内 容 如 图 5-19 所 示 。 主 要 指 为 了 支持 产品 研发 流程 顺利 运转 ， 
质量 原则 和 标准 、 主 要 任务 的 标准 作业 流程 等 。 测 试 在 研发 流程 中 的 主要 


责 ， 以 及 围绕 这 些 工 作 和 职责 确定 的 角色 分 工 和 协作 、 
作用 参见 5.3 节 “流程 中 国 化 的 测试 能 力 ”。 


案例 
模板 ] 测试 知识 管控 、 
指导 书 
竞 品 分 析 报告 
行业 标准 ] 领域 信息 
行业 各 类 分 析 报 告 | 
黑 构 
特性 清单 产品 信息 


设计 方案 
接口 清单 
用 户 角色 及 其 场景 
验收 用 例 基 线 

组 网 和 网 络 特征 
重大 或 典型 事故 案例 好 信息 
特性 在 线 质 量 
DFX 指 标 和 验证 结果 
故障 模式 库 
安全 攻击 模式 库 

特征 用 户 库 


DFX 信 息 


维护 一 个 合理 的 梯队 


学 习 和 发 展 的 机 会 
晋升 的 空间 和 通道 
学 习 型 组 织 的 构建 


图 5-18 


人 的 成 长 、 


测试 人 员 所 需 承担 的 工作 和 职 


治理 一 一 工作 的 后 盾 


组 织 能 力 的 承载 体 : 流 
程 、 方 法 /工具 、 平 台 、 人 。 


对 这 些 承 载体 的 有 效 管理 
确保 能 力 的 持续 积累 和 应 用 


| 


人 
测试 工程 师 能 力 模型 


组 织 能 力 模型 一 一 平台 


组 织 能 力 的 承载 体 : 
流程 、 方 法 /工具 、 平 
台 、 人 。 对 这 些 承 载 参考 流程 


: CMM、TPI、 敏 捷 、 探 索 式 
体 的 有 效 管理 确保 能 


力 的 持续 积累 和 应 用 测试 业务 、 缺 陷 处 理 、 闭 环 改进 、 知 识 管理 
激 程 | 过 程 所 含 环节 、 交 付 件 和 出 入 口 标准 

审理 /7 角色 及 其 职责 、 分 工 、 协 作 

一 周边 有 关 角 色 和 协作 方式 

二 组 织 能 力 


技术 方法 


工具 


图 5-19 ”组 织 能 力 模型 


流程 

测试 组 织 能 力 中， 技术 方法 部 分 的 内 容 如 图 5-20 所 示 ; 工具 部 分 的 内 容 如 图 5-21 所 示 。 这 两 部 分 是 测试 团队 作为 一 个 技术 
型 团队 ， 最 核心 的 能 力 。 有 些 能 力 很 强 的 测试 团队 ， 无 论 采用 怎样 的 研发 流程 都 能 够 很 快 适应 ， 并 保证 工作 的 效率 和 质量 ， 这 样 
的 测试 团队 一 般 都 是 在 技术 和 工具 上 形成 了 “杀手 铀 ”。 技 术 和 工具 方面 更 详细 的 内 容 ， 可 参见 5.2 节 “方法 和 工具 方面 的 能 力 
建设 ”。 


RBT ( 基于 风险 的 测试 ) 
测试 策略 | SQR (软件 质量 分 级 ) 
HTSM ( 启发 式 测试 策略 模型 ) 
组 织 能 力 的 承载 体 ; 人 
流程 、 方 法 /工具 、 平 测试 类 型 
台 、 人 。 对 这 些 承载 MBT 
六 的 折线 积 困 和 应 用 传统 工程 放 法 
测试 设计 | 问题 驱动 的 设计 、 错 误 猜 测 
启发 式 (探索 式 ) 模型 
ee DFX 测 试 设计 
一 ”人 技术 方法 探索 式 
人 EE 测试 执行 和 自动 化 | 剧本 式 
测试 工程 师 能 力 模型 自动 化 测试 
风险 评估 
测试 质量 评估 
质量 属于 ( DFX ) 评估 
产品 商用 评估 
缺陷 分 析 方 法 RCS 
度量 和 分 析 方 法 ( 质量 、 效 率 ) 
可 测试 性 需求 分 析 


测试 评估 和 报告 


图 5-20 组织 能 力 模型 一 一 技术 方法 
目前 ， 工 业界 认可 程度 比较 高 、 商 业 化 运作 比较 成 功 的 测试 能 力 评 估 是 TPI (测试 过 程 改 进 ) 。 这 个 评估 从 测试 所 处 的 研发 
大 环境 、 测 试 过 程 管理 、 测 试 专业 技能 等 方面 ， 对 测试 的 现状 、 短 板 进行 评估 ， 考 察 的 维度 比 这 里 的 组 织 能 力 模 型 更 全 面 、 更 系 
统 ， 这 里 的 内 容 侧重 于 测试 专业 技能 方面 。 


组 织 能 力 的 承载 体 : 
流程 、 方 法 /工具 、 平 
台 、 人 。 对 这 些 承载 
体 的 有 效 管理 确保 能 


力 的 持续 积累 和 应 用 


流程 和 项 目 管 理工 具 
测试 设计 、 执 行 和 自动 化 工具 
数据 采集 、 缺 陷 定 位 信息 采集 、 环 境 监控 等 辅助 工具 
环境 模拟 和 仿真 工具 、 环 境 管 理工 具 
信息 和 知识 管理 工具 


测试 工程 师 能 力 模型 


图 5-21 组 织 能 力 模 型 一 一 工具 


5.7 ”小结 


本 章 汇总 了 测试 团队 和 测试 工程 师 的 能 力 模型 ， 这 些 信息 可 以 作为 测试 技术 架构 设计 的 参考 信息 之 一 。 在 测试 能 力 建设 的 实 
施 过 程 中 ， 需 要 重点 关注 那些 讨论 正确 做 事 方式 的 话题 ， 比 如 “从 间 题 出 发 寻求 适合 的 能 力 建设 方向 ”“ 能 力 建设 首先 考虑 实用 
性 ”“ 测 试 在 流程 运转 中 该 不 该 挥舞 大 棒 ” 等 。 


第 6 章 测试 基本 价值 忌 结 


前 面 3 章 介 绍 了 在 履行 测试 的 基本 职责 的 过 程 中 ,测试 所 能 展现 的 价值 ， 以 及 实现 这 些 价值 的 主要 方法 。 


本 章 将 测试 基本 价值 实现 中 介绍 的 技术 相关 内 容 ， 汇 总 整理 成 测试 架构 ， 帮 助 读者 形成 更 完整 、 更 具 结构 性 的 视图 。 


6.1 测试 的 基本 价值 


作为 一 个 测试 团队 ， 基 本 的 职责 是 测试 产品 ， 发 现 缺陷 ， 报 告 结果 ， 使 每 个 版 本 的 测试 水 准 稳步 提升 。 
本 章 的 内 容 就 是 围绕 如 何 更 好 地 履行 这 些 本 职工 作 ， 除 了 技术 方面 ， 实 施 上 还 要 注意 的 问题 。 


值得 说 明 的 是 : 所 有 测试 设计 的 方法 ， 包 括 DFX 测 试 ， 以 及 测试 工程 师 们 熟知 的 流程 图 、 因 果 图 、 边 界 值 、 等 价 类 等 等 ， 目 
的 都 是 拦截 缺陷 。 自 动 化 测试 的 主要 目的 也 是 拦截 缺陷 ， 主 要 是 拦截 那些 新 特性 开发 和 缺陷 修改 引入 的 、 老 特性 的 问题 。 本 章 没 
有 对 测试 设计 和 自动 化 技术 做 介绍 ， 并 非 是 这 些 不 重要 ， 而 是 作为 测试 最 基础 、 最 核心 的 技术 ， 写 这 些 内 容 的 书籍 比较 多 ， 网 上 
学 习 资 源 也 很 丰富 ， 因 此 ， 这 里 就 没有 再 加 入 这 些 内 容 ， 增 加 读者 的 负担 。 


这 里 还 有 一 个 经 验 之 谈 。 以 前 在 测试 团队 内 部 做 测试 设计 培训 的 时 候 ， 学 员 在 学 习 后 经 常会 问 : 这 些 方 法 我 都 会 了 ， 但 是 真 


正 做 测试 的 时 候 ， 并 不 知道 应 该 选择 哪个 方法 来 应 用 。 

测试 设计 方法 常用 的 有 20 多 种 ， 要 选择 一 个 最 适合 自己 特性 的 确实 不 是 容易 的 事 ， 如 果 确 实 不 知道 怎么 开始 ， 可 以 先 尝 试 
使 用 流程 图 + 逻辑 表达 式 + 参数 定义 表 ， 开 始 特性 的 测试 设计 ， 大 部 分 产品 特性 用 这 些 分 析 方 法 就 能 够 得 到 较 好 的 测试 。 在 这 些 
方法 应 用 熟练 以 后 ， 可 以 尝试 找 出 特性 的 核心 数据 对 象 ， 用 数据 对 象 的 状态 图 代 蔡 流程 图 ， 因 为 状态 迁移 图 更 能 简洁 地 表现 各 种 
异常 处 理 、 处 理 失败 回 滚 、 流 程 回 退 的 情况 ， 因 而 在 很 多 情况 下 更 适合 用 于 测试 建 模 。 

当然 ， 测 试 设计 方法 最 终 还 是 根据 特性 进行 选择 ， 实 现 业务 流程 、 实 现 算法 ， 或 者 处 理 数据 的 特性 ， 测 试 设计 方法 肯定 不 一 
样 。 

最 后 ， 关 于 测试 基本 价值 或 者 核心 价值 还 有 很 多 提 法 ， 比 如 “发 现 一 般 人 发 现 不 了 的 缺陷 ”“ 守 护 质量 ” “证明 需 求 被 正确 
实现 ”等 ， 虽 然 价值 点 不 一 样 ， 但 是 我 认为 这 些 是 测试 在 履行 同一 种 职责 时 ， 深 入 的 方向 有 所 不 同 ， 并 没有 本 质 上 的 差异 。 


6.2 支持 基本 价值 实现 的 测试 架构 


在 第 工 部 分 “ 扫 门 前 雪 ” 中 ， 讲 到 了 自动 化 测试 、DFX 测 试 、 测 试 过 程 管理 等 各 种 各 样 的 测试 能 力 ， 一 个 成 熟 的 测试 团队 所 
具备 的 能 力 ， 远 比 本 书 介绍 的 内 容 更 加 广泛 。 这 些 能 力 的 承载 形式 有 各 种 模板 、 工 具 、 指 导 书 、 教 材 、 案 例 等 ， 这 些 工 具 、 知 识 
和 资料 需要 进行 有 效 的 管理 ， 否 则 经 过 长 时 间 的 积累 后 ， 就 会 过 于 混乱 导致 无 法 使 用 。 这 些 测试 信息 的 管理 模型 〈 即 测试 生产 和 
所 需 的 信息 如 何 组 织 ， 以 便于 使 用 、 继 承 、 更 新 ) 就 是 本 节 将 要 介绍 的 测试 架构 。 

在 我 们 的 测试 团队 中 ， 高 级 别 的 工程 师 需要 负责 测试 架构 的 设计 、 实 现 和 优化 。 不 同 的 团队 对 “测试 架构 ”的 理解 是 不 同 
的 ， 大 体 有 两 种 解释 : 


1) 测试 用 例 基 线 的 架构 。 即 测试 用 例 的 组 织 结构 、 管 理 和 使 用 的 方式 。 合 理 的 测试 用 例 管理 架构 有 助 于 在 测试 设计 、 测 试 
执行 、 测 试 评估 、 回 归 测试 等 活动 中 ， 高 效 检索 并 使 用 用 例 ， 获 得 需要 的 信息 。 


2) 测试 所 需 全 部 知识 、 信 息 、 技 术 和 工具 组 织 架 构 。 例 如 测试 各 类 信息 和 资料 的 组 织 结构 、 测 试 工具 的 软件 架构 ， 信 息 、 
资料 和 工具 的 集成 等 。 合 理 的 架构 帮助 准确 、 高 效 、 高 质量 地 完成 研发 各 阶段 的 风险 识别 、 缺 陷 拦截 以 及 产品 测试 的 工作 ， 支 撑 
产品 商业 成 功 。 


显然 ， 后 者 涵盖 的 范围 大 一 些 ， 本 书 中 的 测试 架构 采用 的 是 第 2 种 定义 。 


本 书 中 把 测试 架构 分 为 两 部 分 来 介绍 : 6.2 节 “支持 基本 价值 实现 的 测试 架构 ”，10.2 节 “支持 拓展 价值 实现 的 测试 架 
构 ”。 


前 者 介绍 测试 架构 的 基本 构成 组 件 ， 每 个 组 件 相对 独立 ， 满 足 每 个 独立 的 测试 活动 的 需要 。 后 者 介绍 测试 架构 的 组 件 集成， 
将 组 件 综合 应 用 ， 满 足 测试 进一步 价值 拓展 的 需要 。 


对 测试 架构 只 做 蓝图 性 质 的 介绍 ， 让 读者 对 顶层 视图 有 一 个 了 解 。 


“支持 基本 价值 实现 的 测试 架构 ”主线 是 研发 流程 和 测试 类 型 ， 测 试 架构 履 盖 研发 各 阶段 的 测试 活动 的 需要 ， 常 规 的 内 容 大 
概 包 括 : 


1) 流程 。 新 上 任 的 TL 或 者 新 启动 的 项 目 ， 依 据 这 些 内 容 进行 基本 的 阶段 计划 和 人 员 安 排 ， 参考 这 些 内 容 灵 活 调整 项 目 过 


` 规范 性 方面 。 定 义 流程 “应 该 ”是 什么 样 。 例 如 : 研发 项 目 包含 的 测试 活动 〈 一 般 有 研发 测试 如 单元 测试 、 集 成 测试 、 系 
统 测试 ; 客户 化 测试 等 ) ; 各 活动 的 责任 人 和 参与 角色 及 其 职责 ; 各 活动 和 哪些 研发 活动 衔接 ; 活动 的 出 入 口 条 件 和 标准 是 什 
么 ;哪些 活动 可 以 裁剪 ， 裁 剪 后 相应 的 工作 如 何 开展 。 规 范 性 方面 的 内 容 ， 一 般 是 承载 在 流程 定义 文件 中 。 


* 流程 执行 方面 。 指 导 流 程 执行 遇 到 的 问题 如 何 解决 。 例 如 ， 研 发 项 目 每 个 测试 活动 的 主要 测试 对 象 ， 各 活动 的 主要 目的 
(拦截 哪个 类 别 的 缺陷 、 获 得 什么 信息 等 ) ; 各 活动 的 主要 测试 类 型 或 方法 ; 各 活动 的 核心 质量 要 求 ; 各 活动 的 例外 处 理 原则 
等 。 当 流程 执行 出 现 问 题 时 ， 这 些 内 容 是 找到 处 理 方法 所 需 的 参考 信息 。 例 如 : 时 间 不 够 完成 本 阶段 的 全 部 工作 ， 则 需要 找 出 最 
重要 的 测试 对 象 ， 使 用 拦截 某 类 缺陷 最 有 效 的 测试 方法 ; 计划 的 时 间 到 了 但 是 缺陷 还 没有 修改 完成 ， 则 需要 评估 影响 核心 质量 要 
求 的 缺陷 是 否 修改 完成 ， 未 修改 完成 会 带 来 什么 风险 等 。 流 程 执行 方面 的 内 容 ， 一 般 是 以 指导 、 参 考 和 案例 文档 的 形式 存在 。 


2) 测试 管理 。 这 些 内 容 帮助 TL 进行 日 常 的 测试 过 程 管理 沟通 和 报告 。 通 常客 户 化 测试 与 研发 测试 采用 的 是 两 套 独立 的 测试 
管理 资料 ， 由 于 两 套 资料 的 内 容 范围 类 似 ， 这 里 统一 进行 介绍 。 
` 计划 管理 。 用 于 计划 管理 的 内 容 ， 例 如 ， 计 划 模 板 、 工 作 量 估计 方法 和 工具 ， 经 验 数据 、 样 例 等 参考 材料 ; 各 类 日 常 报告 


( 指 日 报 、 周 报 、 月 报 、 阶 段 结束 报告 等 ) 的 模板 和 样 例 等 参考 材料 ; 测试 项 目 过 程 数据 的 采集 和 分 析 的 方法 及 工具 ; 计划 执行 
风险 和 问题 的 识别 所 需 经 验 数 据 等 ; 计划 执行 风险 和 问题 报告 的 模板 ， 风 险 规避 和 问题 处 理 的 案例 等 参考 材料 。 


“ 缺陷 管理 。 用 于 缺陷 管理 的 内 容 ， 例 如 ， 缺 陷 报 告 的 模板 和 样 例 等 参考 材料 ; 缺陷 提交 、 跟 踪 到 关闭 的 工具 、 指 导 等 ; 缺 
陷 分 级 、 分 类 的 指导 、 参 考 等 。 


- 风险 管理 。 用 于 风险 管理 的 内 容 ， 例 如 ， 风 险 识别 、 评 估 的 方法 和 工具 指导 ; 风险 评估 参考 的 经 验 数 据 、 案 例 等 参考 材 
料 ; 风险 报告 、 跟 踪 到 关闭 的 模板 、 工 具 、 指 导 、 样 例 等 参考 材料 。 


` 测试 过 程 改进 。 用 于 测试 过 程 改 进 分 析 和 实施 的 内 容 ， 例 如 ， 缺 陷 和 客户 问题 回溯 分 析 的 模板 、 参 考 、 案 例 等 ; 质量 分 析 
的 方法 、 工 具 、 参 考 、 案 例 等 ; 改进 项 目 从 立项 、 方 案 分析 、 实 施 过 程 管理 到 成 果 验 收 的 模板 、 参 考 、 案 例 等 。 


3) 测试 分 析 。 工 程 师 参考 这 些 内 容 进行 测试 策略 的 制订 、 调 整 (测试 策略 的 内 容 参 见 4.2.4 节 “依托 测试 策略 活动 进行 风险 
评估 ”) 。 


` 测试 范围 分 析 。 这 部 分 内 容 帮助 测试 工程 师 确 定 在 项 目 中 需要 测试 的 新 老 特 性 ; 需要 组 合 测试 的 特性 ; 需要 开展 的 DFX、 
静态 测试 ;需要 开展 的 客户 化 测试 或 其 他 测试 ， 这 是 制订 测试 策略 的 基础 。 工 作 主 要 用 到 的 内 容 ， 例 如 ， 测 试 分 析 的 模板 、 工 
具 、 指 导 、 参 考 等 。 对 工作 有 帮助 的 其 他 信息 ， 例 如 ， 产 品 全 部 已 有 特性 的 清单 ; 产品 定制 的 测试 类 型 清单 (参见 3.2.3 节 “扩展 
测试 类 型 ”) 、 容 户 信 息 库 (参见 8.2.2 节 “客户 视角 的 产品 质量 评估 ”) 等 。 


` 测试 策略 制订 。 这 部 分 内 容 帮 助 测试 工程 师 根 据 项 目的 范围 、 风 险 和 目标 ， 确 定 测试 的 覆盖 内 容 和 优先 级 ， 提 出 环境 、 工 
具 、 输 入 信息 的 需求 ， 以 及 项 目 各 个 测试 阶段 的 出 入 口 准 则 等 。 工 作 主 要 用 到 的 内 容 ， 例 如， 测试 策略 的 模板 、 指 导 、 参 考 ; 自 
动 化 测试 的 范围 (需要 实现 自动 化 测试 的 特性 范围 ) 和 执行 原则 (在 哪些 测试 活动 中 执行 哪 部 分 的 自动 化 用 例 ) 等 。 对 工作 用 
助 的 其 他 信息 ， 和 前 面 “流程 执行 ”方面 的 内 容 一 致 。 各 测试 活动 的 目的 、 范 围 、 出 入 口 和 质量 标准 既是 制订 策略 的 参考 信息 ， 
也 能 够 指导 流程 执行 过 程 中 的 异常 处 理 。 


4) 功能 测试 。 这 部 分 内 容 帮 助 测试 工程 师 完成 具体 特性 的 功能 测试 。 


测试 设计 。 这 部 分 内 容 帮 助 测试 工程 师 完 成 特性 的 功能 测试 方案 和 用 例 的 设计 。 工 作 主要 用 到 的 内 容 ， 例如， 测试 方案 和 
用 例 的 模板 、 指 导 、 参 考 ; 使 用 到 的 每 个 测试 设计 方法 的 模板 、 工 具 、 指 导 、 参 考 。 对 工作 有 帮助 的 其 他 信息 ， 例 如 ， 测 试 设计 
要 素 (参见 3.2.4 节 “测试 设计 要 素 清单 ”) 、 客 户 信息 库 、 特 性 测试 建议 或 测试 启发 式 等 。 ( 注 : 测试 建议 是 针对 具体 特性 给 出 
的 测试 重点 和 测试 设计 方法 建议 ， 通 常 由 TSE 和 系统 工程 师 共同 整理 ; 测试 启发 式 是 经 过 比较 系统 的 归 整 ， 形 成 了 脑 图 或 表格 的 


测试 建议 ) 


. 测试 执行 。 这 部 分 内 容 帮 助 测试 工程 师 完 成 测试 用 例 的 执行 ， 达 到 用 例 预期 的 测试 目的 。 工 作 主 要 用 到 的 内 容 ， 例 如 ， 测 
试 执行 的 指导 、 参 考 ; 用 例 执 行 过 程 记 录 的 模板 、 工 具 、 参 考 信 息 ; 用 例 执行 过 程 数据 采集 工具 ; 用 例 执行 结果 数据 的 采集 和 分 
析 工 具 、 指 导 、 参 考 。 测 试 执行 中 用 到 的 其 他 工具 ， 例 如， 模拟 或 仿真 (mock) 工具 、 测 试 数据 准备 工具 (参见 5.2.1 节 “测试 


方法 和 工具 方面 的 能 力 ”) 、 后 台 错 误 检测 工具 (参见 3.4.3 节 “利用 工具 提高 错误 检 出 率 ”) 等 。 


“ 自动 化 。 这 部 分 内 容 帮 助 测试 工程 师 实 现 测试 用 例 的 自动 化 测试 。 工 作 主要 用 到 的 内 容 ， 例如， 自动 化 总 体 方 案 ; 自动 化 
工具 需求 、 设 计 ; 在 自动 化 平台 上 进行 定制 开发 的 模板 、 工 具 、 指 导 、 参 考 ; 自动 化 用 例 的 模板 、 指 导 、 参 考 ; 自动 化 测试 执行 
的 工具 、 参 考 。 


5) DFX 测 试 。 这 部 分 内 容 帮助 测试 工程 师 完成 各 种 类 型 的 DFX 测 试 ， 每 个 DFX 测 试 类 型 用 到 的 内 容 和 “功能 测试 ”一 样 ， 
也 可 以 分 为 测试 设计 、 测 试 执行 、 自 动 化 几 部 分 ， 几 部 分 的 内 容 范 围 也 与 “功能 测试 ”类 似 。 比 较 特 别 的 ， 例 如 ， 测 试 设计 用 到 
的 可 靠 性 的 故障 模式 库 、 安 全 性 的 安全 漏洞 库 、 可 服务 性 的 服务 业务 场景 库 等 。 


6) 静态 测试 。 这 部 分 内 容 帮 助 测试 工程 师 完成 需求 和 设计 评审 、 代 码 的 静态 检查 等 针对 设计 和 开发 交付 件 的 静态 测试 。 工 
作 主 要 用 到 的 内 容 ， 例 如 ， 评 审 的 模板 、 工 具 、 指 导 、 参 考 ; 代码 静态 检查 的 工具 、 指 导 、 参 考 等 。 对 工作 有 帮助 的 其 他 信息 ， 
例如 ,编码 规 范 ; 设计 规范 ; 客户 信息 库 等 。 


7) 单元 测试 。 单 元 测试 原则 上 是 开发 工程 师 的 职责 ， 有 时 候 测 试 工程 师 需 要 为 开发 工程 师 提供 工具 方案 上 的 支持 。 这 类 工 
作 主 要 用 到 的 内 容 ， 例 如 ， 单 元 测试 执行 的 工具 、 指 导 、 参 考 ;覆盖 率 数据 采集 、 统 计 和 分 析 的 工具 、 指 导 、 参 考 和 案例 ; 模拟 
或 仿真 (mock) 工具 等 。 


8) 客户 化 测试 。 这 部 分 内 容 帮 助 测试 工程 师 完成 体验 测试 、 镜 像 测试 、 验 收 等 客户 化 测试 ， 用 到 的 内 容 和 “功能 测试 ”一 
样 也 可 以 分 为 测试 设计 、 测 试 执行 、 自 动 化 几 部 分 ， 几 部 分 的 内 容 范 围 也 与 “功能 测试 ”类 似 。 此 外 ， 体 验 测试 、 验 收 测试 的 过 
程 、 方 法 、 环 境 与 其 他 测试 区 别 比较 大 ， 因 此 ， 工 作 主要 用 到 的 内 容 ， 例 如 ， 体 验 测试 的 用 户 选择 模板 、 指 导 、 参 考 ; 体验 、 验 
收 测试 的 总 体 方案 、 计 划 、 流 程 、 环 境 设 计 的 模板 、 指 导 、 参 考 、 案 例 ; 用 户 体验 调查 的 模板 、 工 具 、 指 导 、 参 考 等 。 对 工作 有 
帮助 的 其 他 信息 ， 例 如 ， 业 务 场景 库 ， 应 用 场景 库 ， 客 户 信息 库 ， 镜 像 环境 配置 参数 库 等 。 


9) 持续 集成 。 这 部 分 内 容 帮助 测试 工程 师 实现 、 使 用 和 维护 持续 集成 方案 。 工 作 主 要 用 到 的 内 容 ， 例 如 ， 持 续集 成 总 体 方 
案 、 工 具 、 指 导 、 参 考 ; 持续 集成 工具 需求 、 设 计 等 。 持 续集 成 方案 和 工具 在 使 用 中 会 用 到 的 其 他 信息 ， 例 如 ， 持 续集 成 中 测试 
用 例 的 质量 要 求 ; 执行 失败 、 阻 塞 、 报 错 等 情况 的 处 理 方式 和 原则 等 。 


10) 探索 式 测试 。 这 部 分 内 容 帮 助 测试 工程 师 充分 发 挥 探 索 式 ;测试 的 优势 。 工 作 主要 用 到 的 内 容 ， 例 如 ， 探 索 式 测试 的 总 
体 方案 、 指 导 、 参 考 ; session 分 析 的 模板 、 指 导 、 参 考 ; 对 各 特性 、 测 试 类 型 进行 探索 式 测 试 的 启发 式 ; 测试 执行 和 执行 过 程 
记录 的 模板 、 工 具 、 指 导 、 参 考 等 。 


11) 测试 环境 。 这 部 分 内 容 帮助 测试 工程 师 获得 可 用 的 、 稳 定 的 测试 环境 。 工 作 主要 用 到 的 内 容 ， 例 如 ， 测 试 环境 管理 
(指环 境 的 管理 、 申 请 、 准 备 、 回 收 ) 的 总 体 方案 、 工 具 、 指 导 、 参 考 ; 测试 环境 搭建 和 调试 的 模板 、 工 具 、 指 导 、 参 考 ; 测试 
环境 故障 定位 和 修复 的 工具 、 指 导 、 参 考 、 案 例 ; 环境 自动 化 搭建 的 模板 、 工 具 、 指 导 、 参 考 等 。 对 工作 有 帮助 的 其 他 信息 ， 例 
如 ， 多 人 共用 环境 的 工具 、 指 导 、 参 考 等 。 


12) 测试 评估 。 这 部 分 内 容 帮助 测试 工程 师 完成 产品 的 商用 质量 评估 ， 输 出 测试 报告 。 工 作 主要 用 到 的 内 容 ， 例 如 ， 产 品 
商用 评估 (评估 产品 是 否 可 交付 客户 进行 商用 应 用 ) 模板 、 工 具 、 指 导 、 参 考 ; 产品 测试 报告 模板 、 指 导 、 参 考 ; 产品 质量 评 
估 、 研 发 过 程 评估 的 模板 、 工 具 、 指 导 、 参 考 。 对 工作 有 帮助 的 其 他 信息 ， 例 如 ， 各 项 评估 所 需 数 据 的 采集 方法 和 工具 ; DFX 指 
标 集 (包括 但 不 限于 指标 定义 、 指 标 测 量 和 计算 方法 、 历 史 数 据 、 基 准 数据 等 ) 。 


13) 测试 用 例 基 线 库 。 这 部 分 内 容 包括 测试 用 例 基线 库 本 身 ， 以 及 基线 库 建 设 、 使 用 、 维 护 的 相关 信息 。 后 者 的 主要 内 
容 ， 例 如 ， 测 试用 例 基 线 库 的 总 体 方案 ; 测试 用 例 的 组 织 结构 、 关 键 要 素 、 筛 选 使 用 原则 ; 测试 用 例 基线 库 管 理工 具 的 指导 、 参 


考 、 案 例 等 。 


以 上 内 容 中 提 到 的 模板 、 工 具 、 指 导 、 参 考 、 案 例 的 含义 ， 参 见 5.5.1 节 “测试 知识 的 管控 和 治理 ”， 大 体 上 ，“ 指 导 ” 包 
含 指导 书 、 检 查 表 、 规 学 、 标 准 等 ; “参考 ”包含 教材 、 样 例 等 。 


以 上 只 列 出 了 常见 的 测试 活动 可 能 需要 的 内 容 ， 每 个 团队 都 会 因为 产品 的 特点 ， 有 自己 特殊 的 测试 活动 ， 这 些 活动 也 会 有 相 
应 的 资料 和 信息 ， 这 些 资料 和 信息 也 可 以 参照 以 上 列表 ， 按 活动 来 组 织 。 


测试 团队 不 可 能 也 不 应 该 追求 一 个 全 的 架构 ， 需 要 什么 就 积累 什么 。 架 构 的 作用 是 : 当 有 了 一 方面 的 积累 的 时 候 ， 帮 助 找到 
合适 的 安置 位 置 ， 方 便 以 后 查找 和 使 用 。 当 需要 解决 什么 问题 的 时 候 ， 架 构 帮助 找到 需要 创建 的 模块 。 


测试 架构 中 管理 的 内 容 ， 多 数 都 是 起 源 于 测试 工程 师 的 日 常 工作 ， 尤 其 是 那些 富有 挑战 、 遇 到 了 困难 和 问题 的 工作 。 测 试 工 
旺 师 在 解决 问题 、 战 胜 挑战 的 过 程 中 ， 通 过 实践 摸索 出 来 测试 活动 在 方法 和 工具 、 流 程 、 平 台 上 需要 做 哪些 调整 和 改进 ， 几 个 衣 
分 怎样 配合 才能 达成 质量 、 成 本 、 效 率 的 目标 。 在 工作 完成 后 ， 把 实践 的 成 果 加 以 归纳 和 整理 ， 纳 入 测试 架构 ， 成 为 测试 能 力 的 
一 部 分 。 这 些 能 力 一 方面 为 将 来 解决 同类 问题 提供 帮助 ， 更 理想 的 效果 是 ， 可 以 避免 同类 问题 再 次 发 生 。 


截止 到 本 节 ， 有 3 小 节 与 测试 架构 有 关 
6.2 节 介绍 测试 架构 的 基本 组 件 的 内 容 。 


: 6.5.1 “测试 知识 的 管控 和 治理 ”。 介 绍 基本 组 件 中 ， 各 类 型 测试 资产 的 定义 ， 以 及 测试 架构 如 何 落实 到 内 部 知识 平台 ， 成 
为 方便 使 用 的 工具 。 


:6.2.1“ 测 试 方法 和 工具 方面 的 能 力 ”。 介 绍 测试 架构 中 的 方法 和 工具 ， 能 够 使 具体 的 测试 活动 达到 怎样 的 质量 。 


第 3 部 分 ”展露 锋 亡 


在 序言 部 分 提 到 ， 传 统 的 测试 价值 依然 存在 ， 并 且 这 些 价 值 也 确实 成 就 了 上 一 代 的 测试 人 。 但 是 现在 ， 这 些 价值 时 已 经 被 认 
为 是 测试 该 做 到 的 ， 就 像 一 个 开发 工程 师 ， 会 写 代 码 且 代码 缺陷 率 正 常 一 样 ， 仅 仅 只 展现 这 些 价 值 ， 不 足以 成 就 新 一 代 测 试 工程 
师 的 职业 发 展 。 接 下 来 ， 将 要 讨论 测试 有 能 力 拓展 的 、 新 的 价值 。 


这 里 讨论 的 价值 点 ， 有 些 是 研发 团队 对 测试 的 “期 望 ”， 比 如 保障 质量 ; 有 些 在 研发 团队 并 没有 固定 的 角色 ， 但 测试 有 条 件 
做 好 ， 比 如 产品 交付 。 想 要 实现 这 些 价 值 ， 测 试 不 仅 要 做 好 自己 的 本 职 ， 还 需要 把 影响 力 扩展 到 测试 团队 和 测试 活动 以 外 ， 实 现 
额外 的 团队 价值 ， 就 像 袋 中 之 麦 展 露 锋芒 于 外 。 


测试 的 额外 价值 在 我 们 的 产品 团队 中 虽然 有 一 些 实践 ， 但 也 并 不 十 分 成 熟 。 这 里 写 出 来 主要 是 帮助 测试 人 确信 : 以 既 有 的 能 
力 和 知识 为 基础 ， 测 试 还 可 以 在 产品 研发 和 服务 中 发 挥 更 多 的 价值 。 


这 部 分 讨论 的 价值 主要 是 两 个 方向 : 一 个 是 产品 质量 ， 另 一 个 是 交付 效率 。 这 两 个 方向 的 价值 实践 在 我 们 的 产品 中 也 相对 比 
较 成 熟 。 


第 7 章 产品 质量 屏障 


测试 对 产品 质量 的 作用 一 直 是 个 有 争议 的 话题 。 测 试 工程 师 认 为 “产品 质量 是 由 设计 决定 的 ,测试 无 法 从 根本 上 提高 产 
， 研 发 经 理 希 望 “产品 经 过 测试 工程 师 的 手 ， 就 应 该 使 质量 得 到 提高 ， 达 到 客户 的 要 求 ”。 我 认为 ， 测 试 必须 在 产品 
控制 中 起 到 举足轻重 的 作用 ， 否 则 ， 实 在 想 不 出 为 什么 研发 团队 要 付出 这 么 高 的 成 本 维持 一 个 测试 团队 。 


品质 
的 质量 


测试 对 于 质量 的 价值 有 两 方面 : 


:一 方面 测试 可 以 构筑 一 条 “河道 ”， 随 时 将 产品 质量 约束 在 可 控 范 围 内 ， 防 止 在 产品 研发 过 程 中 和 产品 演进 发 展 过 程 中 ， 


质量 逐步 劣化 ， 这 就 是 7.1 节 “全 流程 质量 保障 ”中 介绍 的 内 容 。 


* 另 一 方面 测试 可 以 打造 一 面 镜子 ， 系 统 、 客 观 地 评估 产品 的 质量 ， 使 产品 团队 对 产品 质量 有 准确 的 认识 ， 这 就 是 7.2 
节 “ 窗 户 视角 的 质量 评估 ”中 介绍 的 内 容 。 


7.1 ”全 流程 质量 保障 
测试 活动 的 目的 ， 在 最 早期 是 证 明 软件 可 以 工作 ， 后 来 发 展 成 为 发 现 缺 陷 ， 现 在 普遍 认为 测试 的 目的 是 参与 质量 管理 ， 实 现 
缺陷 预防 。 


以 发 现 缺陷 为 目的 的 测试 ， 最 有 效 的 工作 是 测试 执行 ， 因 此 测试 工作 主要 集中 在 研发 的 后 端 ， 研 发 前 端 主要 是 熟悉 需求 ， 为 
测试 执行 做 准备 。 


以 质量 管理 和 缺陷 预防 为 目的 的 测试 ， 在 研发 的 每 个 环节 都 有 验证 和 质量 反馈 的 工作 ， 因 此 测试 的 工作 是 分 布 在 整个 产品 研 
发 过 程 中 的 ， 这 就 是 全 流程 质量 保障 。 


【价值 体现 】 
全 流程 质量 保障 的 价值 在 于 : 随时 将 产品 质量 约束 在 可 控 学 围 内 ， 防 止 产品 研发 过 程 中 质量 逐步 劣化 。 


可 以 解决 的 典型 问题 如 : 邻近 交付 期 限时 缺陷 居 高 不 下 、 风 险 在 项 目 后 期 集中 爆发 、 研 发 各 环节 的 进度 偏差 逐步 增 大 、 项 目 
交付 的 特性 不 满足 客户 需求 等 。 


【工作 的 作用 】 
在 研发 的 每 个 环节 都 开展 验证 (包括 动态 测试 和 静态 测试 ) ， 笼 统 地 说 是 提前 发 现 了 缺陷 ， 具 体 的 说 有 以 下 几 方 面 作用 : 


: 约束 研发 过 程 质量 。 一 方面 测试 人 员 作 为 参与 者 之 一 ， 对 研发 过 程 的 文档 交付 件 进行 评审 发 现 缺陷 ， 防 止 不 满足 要 求 的 文 
档 流入 下 一 个 研发 环节 。 男 一 方面 ， 对 处 于 研发 过 程 中 的 产品 进行 测试 ， 验 证 质量 、 暴 露 问题 ， 避 免 研 发 团队 对 产品 质量 的 误 
判 。 这 是 全 流程 质量 保障 的 基础 工作 ， 测 试 的 角色 是 研发 的 主力 防守 队员 。 


识别 和 纠正 信息 传递 失真 。 测 试 作为 开发 的 “对 手 ” 方 ， 通 过 验证 活动 发 现 设计 、 实 现 与 需求 不 一 致 的 问题 ， 达 到 在 研发 
过 程 中 纠正 信息 传递 失真 的 目的 。 这 是 全 流程 质量 保障 的 核心 工作 之 一 ， 也 是 测试 在 质量 管理 中 独特 的 作用 。 


` 识别 和 管理 风险 。 一 方面 ， 风 险 是 测试 的 依据 之 一 ， 在 产品 的 分 析 和 设计 阶段 ， 测 试 需要 发 起 风险 评估 ， 并 持续 跟 进 。 另 
一 方面 ， 风 险 是 测试 的 结论 之 一 ， 测 试 完成 后 哪些 风险 已 经 关闭 ， 哪 些 风险 依然 存在 ， 这 些 风 险 会 造成 怎样 的 后 果 ， 一 旦 风险 变 
成 问题 应 该 如 何 处 置 等 ， 这些 需要 作为 测试 的 结论 写 入 测试 报告 。 风 险 的 识别 和 管理 ， 需 要 作为 主要 线索 之 一 ， 贯 穿 整个 项 目的 
测试 活动 。 


【方法 和 工具 简 述 】 


全 流程 质量 保障 ， 意 味 着 测试 人 员 会 深度 参与 产品 研发 的 全 部 环节 。 具 体 每 个 环节 的 工作 、 技 术 、 方 法 、 工 具 ， 可 以 参考 朱 
少 民 老师 的 专著 《全 程 软件 测试 》。 这 里 只 对 我 认为 比较 重要 的 内 容 进 行 补充 。 


为 了 约束 研发 过 程 质量 ， 需 要 在 研发 过 程 中 持续 进行 静态 和 动态 的 测试 。 静 态 测试 主要 是 针对 分 析 和 设计 文档 的 评审 ， 这 方 
面 的 问题 和 解决 方法 将 在 7.1.1 节 “测试 尽早 展开 : 全 程 软件 测试 ”中 讨论 。 持 续 地 进行 动态 测试 ， 意 味 着 开发 新 实现 需求 ， 测 
试 能 及 时 验证 ， 确 认 新 需求 已 经 正确 实现 ， 同 时 原 有 特性 不 受 影响 ， 这 方面 的 问题 和 解决 方法 将 分 别 在 7.1.3 节 “新 代码 快速 、 
充分 验证 ”和 7.1.4 节 “ 老 代码 持续 验证 ”中 讨论 。 


为 了 识别 和 纠正 信息 传递 失真 ， 需 要 在 研发 过 程 中 开展 针对 需求 的 静态 和 动态 的 测试 。 针 对 需求 的 静态 测试 ， 将 在 7.1.1 节 
中 讨论 。 针 对 需求 的 动态 测试 ， 在 研发 过 程 中 开展 的 难度 是 比较 大 的 ， 这 方面 的 问题 和 解决 方法 将 在 7.1.2 节 中 讨论 。 


为 了 识别 和 管理 风险 ， 需 要 在 分 析 、 设 计 、 测 试 的 各 项 活动 中 进行 风险 的 评估 、 验 证 和 闭环 。 分 析 、 设 计 以 及 测试 分 析 中 的 
风险 评估 ， 参 见 4.2 节 “风险 评估 数据 ”。 测 试 执行 中 的 风险 发 现 、 验 证 和 闭环 ， 也 依赖 “新 代码 快速 、 充 分 验证 ”和 “者 代码 
寺 续 验证 ”， 这 一 方面 是 进行 质量 管理 的 需要 ， 另 一 方面 也 是 发 现 和 管理 风险 的 手段 。 


综 上 所 述 ， 为 了 实现 全 流程 质量 质量 保障 ， 需 要 做 到 全 程 软件 测试 ， 新 代码 快速 充分 验证 ， 老 代码 持续 验证 ， 尽 早 开展 需求 
验证 。 全 流程 质量 保障 的 作用 和 手段 的 天 系 如 图 7-1 所 示 。 


作用 于 段 
全 程 软 件 测 试 


纠正 信息 传递 失真 
尽早 开展 需求 验证 
约束 人 研发 过 程 质量 
新 代码 快速 、 充 分 验证 
识别 和 管理 风险 
老 代 码 持续 验证 


图 7-1 全 流程 质量 保障 手段 


本 节 介绍 的 全 流程 质量 保障 的 4 个 主要 手段 中 ， 全 程 软件 测试 和 尽早 开展 需求 验证 ， 其 目的 都 是 使 测试 尽早 开展 。 而 新 代码 
快速 、 充 分 验证 ， 以 及 老 代码 持续 验证 ， 其 目的 都 是 尽 可 能 使 测试 充分 性 快速 提升 。 


7.1.1 测试 尽早 开展 : 全 程 软件 测试 


全 程 软件 测试 是 按照 软件 开发 的 W 流 程 模型 ， 在 软件 项 目的 一 开始 即 开始 测试 的 各 项 工作 ， 如 图 7-2 所 示 。 包 括 测试 计划 和 
策略 、 测 试 需求 分 析 、 测 斌 设计、 自动 化 方案 设计 和 实现 、 软 件 需 求 和 设计 的 评审 、 为 开发 者 测试 提供 技术 手段 、 测 试 执行 、 测 


试 评估 等 。 
全 程 软件 测试 的 主要 作用 是 : 纠正 信息 传递 失真 、 约 束 研发 过 程 质量 。 


W 模 型 保留 了 V 模 型 原 有 的 测试 与 开发 的 对 应 活动 。 比 如 ， 集 成 测试 验证 概要 设计 ， 即 按 概要 设计 的 要 求 ， 将 软件 单元 组 装 
成 模块 、 子 系统 或 系统 后 ， 测 试 各 部 分 工作 是 否 达到 或 实现 相应 技术 指标 及 要 求 。 


PR 
验收 测试 设计 i 
2 验收 测试 


系统 测试 设计 


需求 分 析 


系统 构建 


图 7-2 ”双流 程 模型 


系统 测试 


概要 设计 


集成 测试 设计 
详细 设计 


此 外 ， 在 W 模 型 中 ， 开 发 和 测试 两 条 线 均 贯穿 整个 研发 过 程 。 研 发 每 个 阶段 都 既 有 开发 活动 也 有 测试 活动 ， 开 发 完成 的 交付 
件 是 测试 的 输入 ， 同 时 ， 测 试 也 在 验证 开发 本 阶段 交付 件 ， 及 其 与 上 阶段 的 交付 件 、 与 需求 的 一 致 性 。 比 如 ， 需 求 分 析 完 成 
的 “需求 规格 说 明 书 ”是 系统 测试 设计 的 主要 输入 ， 系 统 测 试 设计 会 发 现 需求 规格 的 错误 、 不 一 致 、 分 支 遗 漏 等 问题 ， 此 时 开发 
也 已 经 开始 了 概要 设计 及 其 评审 ， 结 合 测试 对 需求 的 理解 ， 也 可 以 暴露 出 概要 设计 与 需求 的 偏差 、 不 一 致 、 需 求 遗漏 等 方面 的 问 
题 。 


朱 少 民 老 师 的 《全 程 软件 测试 》 对 此 进行 了 详细 的 前 述 。 


全 程 软件 测试 的 一 个 很 重要 的 改变 ， 是 在 研发 的 分 析 、 设 计 、 开 发 过 程 中 同步 开展 静态 测试 ， 并 同步 进行 相应 的 测试 准备 工 
作 。 


我 们 的 绝 大 部 分 研发 项 目 都 实施 了 全 程 软件 测试 ， 在 实施 中 最 典型 的 问题 是 : 


1) 参与 需求 和 设计 评审 ， 但 无 法 提出 有 价值 的 问题 ， 仅 仪 只 是 提前 熟悉 了 需求 和 方案 ， 没 有 起 到 约束 质量 的 作用 。 


2) 需求 和 设计 文档 与 最 后 完成 的 软件 成 品 有 很 大 差异 ， 据 此 完成 的 测试 用 例 、 自 动 化 方案 需要 进行 大 的 调整 才能 使 用 ， 造 
成 工作 的 浪费 。 


【问题 1】 即 参与 需求 和 设计 评审 无 法 提出 有 价值 的 问题 。 


真正 产生 价值 的 需求 和 设计 评审 ， 至 少 需要 详细 研读 文档 3 遍 ， 如 图 7-3 所 示 。 第 一 遍 排除 理解 偏差 ; 第 二 遍 前 后 印证 ， 串 
联 流程 和 数据 模型 ， 纠 正 逻辑 错误 、 流 程 断 点 、 设 计 要 素 缺 失 ; 第 三 遍 代入 既 有 业务 流程 、 审 计 和 维护 流程 、 条 件 约束 等 上 下 
文 ， 分 析 业 务 流 和 数据 流 的 变化 ， 发 现 需求 和 设计 对 客户 需求 的 偏离 、 应 用 场景 的 缺失 。 


河 


基于 经 验 对 需求 提出 次 层次 问题 : 

1 ) 发 现 需求 不 正确 、 背 离 用 户 真 实 需求 
2 ) 发 现 需求 场景 上 的 缺失 

3 ) 对 需求 的 合理 性 进行 探讨 


基于 理解 对 需求 产生 质疑 : 

1 ) 需求 定义 不 明确 ， 可 能 造成 多 种 解释 
2 ) 需求 相互 之 间 描 述 上 存在 了 矛盾、 冲突 
3 ) 对 需求 不 符合 要 求 的 地 方 提出 疑问 
文档 表述 和 需求 理解 的 问题 

1 ) 可 读 性 ， 需 求 陈述 是 否 清 楚 、 容 易 理解 

2 ) 文档 结构 完整 ， 没 有 章节 缺失 


3 ) 名 词 术 语 有 确切 解释 


图 7-3 评审 三 部 曲 


我 们 的 测试 工程 师 在 需求 和 设计 评审 中 ， 大 部 分 都 只 做 到 了 第 一 步 ， 所 以 给 人 的 感觉 是 测试 评审 只 能 发 现 文 字 错 误 。 想 要 发 
现 更 高 层次 的 问题 ， 需 要 对 产品 的 架构 、 设 计 、 接 口 、 相 关 协 议和 规范 、 开 发 语言 等 有 相当 的 了 解 ， 对 产品 已 有 的 特性 、 使 用 情 


况 、 质 量 情况 有 深入 的 掌握 ， 对 用 户 工作 场景 比较 熟悉 。 最 后 还 需要 识别 出 风险 高 的 特性 重点 参与 评审 ， 帮 助 识别 风险 点 、 控 制 


邯 


对 需求 和 设计 文档 再 次 研读 ， 可 以 结合 特性 功能 测试 设计 进行 ， 在 对 特性 处 理 流程 、 流 程 出 入 口 、 处 理 的 数据 对 象 进行 各 种 


正常 、 异 常 的 分 析 时 ， 通 常 可 以 很 自然 地 发 现 逻 辑 上 的 错误 、 分 支 或 参数 的 缺失 等 问题 。 


想 要 对 需求 和 设计 提出 建设 性 的 问题 ， 则 需要 结合 特性 的 业务 场景 和 应 用 场景 测试 设计 ， 从 特性 的 业务 流程 、 运 营 、 维 护 、 
管理 的 角度 分 析 ， 才 有 可 能 发 现 需 求 的 错误 、 遗 漏 或 存疑 (参见 8.1 节 “代表 客户 测试 ”) 。 


【案例 】 某 成 绩 管理 系统 的 软件 需求 评审 。 
软件 需求 内 容 如 图 7-4 所 示 。 
功能 清单 如 图 7-5 所 示 。 


需求 正文 节选 如 下 。 


3 系统 特性 

3.1 系统 角色 

3.2 学 生 管理 

3.2.1 增加 学 生 信息 
3.2.2 修改 学 生 信息 
3.2.3 删除 学 生 信息 
3.2.4 导入 学 生 信息 
3.3 教师 管理 

3.3.1 增加 教师 信息 
3.3.2 修改 教师 信息 
3.3.3 删除 教师 信息 
3.3.4 导入 教师 信息 
3.4 课程 管理 

3.4.1 增加 课程 基本 信息 
3.4.2 修改 课程 基本 信息 
3.4.3 删除 课程 基本 信息 
3.4.4 维护 课程 学 生 信 息 
3.5 成 绩 查询 

3.5.1 学 生 查 询 成 绩 
3.5.2 教师 查询 成 绩 
3.6 成 绩 分 析 与 统计 
3.6.1 考试 成 绩 表 

3.6.2 班级 各 科 和 平均 成 绩 表 
3.6.3 年 级 成 绩 排 名 表 
3.7 系统 维护 

3.7.1 数据 字典 维护 


图 7-4 软件 需求 内 容 


需求 3.2.1 增 加 学 生 信息 

使 用 者 : 学 校 有 学 生 管理 功能 角色 的 用 户 。 

目的 : 单个 添加 学 生 基 本 信息 。 

基本 事件 流 : 

1) 用 户 进 入 增加 单个 学 生 界面 ， 本 用 例 开 始 。 

2) 系统 显示 学 生 信息 输入 界面 ， 用 户 输入 学 生 姓 名 、 学 号 、 性 别 、 出 身 日 期 、 入 学 日 期 、 班 级 、 政 治 面 狐 、 逢 贯 。 
3) 用 户 确认 输入 信息 ， 系 统 检查 学 号 是 否 唯一 ， 若 唯一 ， 则 增加 学 生 信息 ， 本 用 例 结束 。 否 则 ， 提 示 用 户 重 新 输入 。 
需求 3.4.4 维 护 课 程 学 生 信 息 

使 用 者 : 教师 或 学 校 有 课程 管理 角色 的 用 户 。 


目的 : 将 学 生 加 入 已 创建 的 课程 。 


增加 学 生 信息 


修改 学 生 信息 


学 生 档案 管理 
删除 学 生 f 


”2 
Hi 


r 了 QI 
[ 开 


- 
四 
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增加 教师 信息 


教师 信息 管理 


修改 教师 信息 
删除 教师 信息 


ll ll 
以 
本 


导 人 教师 信息 


管理 诬 程 基本 信息 


管理 诬 程 学 生 


录入 学 生成 绩 
成 绩 维 护 


修改 学 生成 绩 
考试 成 绩 表 

学 生成 绩 分 析 统 计 Ca i 
期 未 考试 成 绩 排名 表 


成 绩 查 询 


哪 学 生 查 询 成 绩 
教师 查询 成 绩 


基本 事件 流 : 

1) 用 户 进 入 维护 课程 学 生 信 息 界面 ， 本 用 例 开始 。 

2) 系统 显示 课程 列表 ， 用 户 选择 要 加 入 学 生 的 课程 ， 系 统 显示 该 课程 已 存在 的 学 生 。 

3) 用 户 选择 加 入 新 学 生 ， 系 统 显 示 学 生 列 表 ， 用 户 可 通过 搜索 列表 显示 班级 内 的 学 生 ， 用 户 选择 要 加 入 课程 的 学 生 。 
4) 系统 将 所 选 学 生 加 入 前 面 选 定 的 课程 ， 本 用 例 结束 。 

需求 3.6.1 考 试 成 绩 表 


某 学 期 某 次 考试 的 单个 班级 的 考试 成 绩 表 ， 如 图 7-6 所 示 。 


2000 一 2001 学 年 第 二 学 期 高 一 (1 ) 班期 末 考 试 成 绩 表 


图 7-6 考试 成 绩 表 
评审 的 步骤 分 三 步 进行 。 
一 : 理解 。 发 现 文档 表述 和 需求 理解 的 问题 ， 如 : 
1) 可 读 性 ， 需 求 陈述 是 否 清楚 、 容 易 理解 。 
2) 文档 结构 完整 ， 没 有 章节 缺失 。 
3) 名 词 术语 有 确切 解释 。 


首先 ， 对 每 个 需求 进行 理解 ， 发 现存 在 的 定义 和 文字 问题 ， 如 图 7-7 所 示 。 
3.2.1 人 


目的 : rE 
基本 事件 流 : 
1. 用 户 进 入 增加 单个 学 生 界 面 ， 本 用 例 开始 ; 


> 系统 显示 学 生 信息 输入 界面， 用 户 输 入 学 生 姓 名、 旺 、 作 人 岂 电 有 期 、 人 学 日 期 、 班 级 、 政 治 面貌 、 籍 
3. 用 户 确认 输入 信息 ， 系 统 检查 学 号 是 否 唯一 ， 若 唯 -， 则 增加 学 生 信 息 , 用 例 结束 。 否 则 ， 提示 用 户 (新 输入 > 


有 歧义 : 是 出 错 的 重新 输入 ? 
不 是 全 部 重新 输入 ? 


图 7.7 “定义 和 文字 问题 
然后 ， 进 行 整体 的 结构 上 的 对 照 ， 发 现 的 问题 有 : 
功能 清单 中 “成 绩 维护 ”的 需求 、 角 色 和 场景 分 析 被 遗漏 了 。 
:成绩 分 析 与 统计 ， 功 能 清单 与 需求 分 析 内 容 不 一 致 ， 如 图 7-8 所 示 。 
3.5.1 学 生 查询 成 绩 
5.2 教师 查询 成 绩 


考试 成 绩 表 3.6 6 成 绩 足 分 析 与 统计 
3.6.1 考试 成 绩 


学 生成 绩 分 析 统 计 各 科 平均 成 绩 表 3.6.2 班级 各 科 平 均 成 绩 
期 未 考试 成 绩 排名 表 3.6.3 4 下 级 成 席 排 名 表 
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图 7-8 ”结构 问题 
步 又 二 : 质疑 。 基 于 理解 对 需求 产生 质疑 ， 如 : 


1) 需求 定义 不 明确 ， 可 能 造成 多 种 解释 。 


— 


2) 需求 相互 之 间 描述 上 存在 矛盾 、 冲 突 。 


— 


3) 对 需求 不 符合 要 求 的 地 方 提出 疑问 。 
首先 ， 结 合 功能 测试 设计 进行 评审 ， 之 后 发 现 ， 如 果 要 测试 “单个 班级 的 考试 成 绩 表 ” ， 会 存在 以 下 问题 : 


* 预 置 条 件 。 毕 业 学 校 的 信息 在 学 生 基 本 信息 中 没有 ， 那 么 这 个 信息 是 从 哪里 来 的 ?类别 (A+，B 等 ) 是 自动 计算 得 到 ， 那 


么 各 个 等 级 的 分 数 分 界线 在 哪里 配置 ? 
操作 步骤 。 谁 ， 在 哪个 界面 上 ， 进 行 什么 操作 会 得 到 这 个 表格 ? 
. 预期 结果 。 这 个 表格 是 按 什么 排序 的 ? 表格 中 “位 比 ”的 计算 方法 未 定义 。 
. 异常 数据 。 总 分 相同 时 ， 排 名 怎么 计算 ? 


然后 ， 结 合 经 验 进一步 评审 ， 之 后 发 现 ，“ 增 加 学 生 信息 ”时 ， 学 生 的 班级 信息 (如 : 高 一 (2) 班 ) 会 随 着 学 年 的 更 蔡 变 


结合 经 3 
化 ， 不 属于 学 生 基 本 信息 。 

结合 测试 工作 的 需要 提出 质疑 ， 可 参见 如 下 注释 。 

测试 参与 需求 评审 的 启发 式 

基本 用 例 。 是 否 可 以 明确 写 出 用 例 的 预 置 条 件 、 操 作 步 又 和 预期 结果 。 检 查 输 入 、 输 出 、 输 入 输出 的 关系 、 相 关 操 作 的 命令 
和 参数 是 否 完整 。 


测试 设计 。 功 能 的 基本 、 分 支 、 异 常 处 理 是 否 完整 ; 受 哪些 新 、 老 功能 的 影响 ; 有 哪些 使 用 约束 ， 是 否 进行 了 交代 。 


测试 设计 要 素 清 单 。 利 用 测试 团队 总 结 的 经 验 ， 检 查 是 否 遗 漏 对 某 些 用 户 、 数 据 、 状 态 的 特殊 处 理 ; 是 否 遗 漏 了 必 备 的 辅助 


操作 、 维 护 操作 等 。 
质量 属性 。 测 试 需要 得 到 哪些 DFX 指 标 ; 指标 定义 是 什么 ; 指标 的 目标 值 是 多 少 ; 在 哪些 场景 下 进行 测试 ， 数 据 如 何 采 集 。 
标准 规范 。 如 果 产 品 需要 遵循 某 些 规范 ， 则 需要 逐条 确认 规范 落实 到 哪个 需求 ; 需求 与 规范 是 否 一 致 。 
步骤 三 : 建设 。 基 于 经 验 对 需求 提出 深层 次 问题 ， 如 : 
1) 发 现 需 求 不 正确 、 背 离 用 户 真 实 需 求 。 
2) 发 现 需求 场景 上 的 缺失 。 
3) 对 需求 的 合理 性 进行 探讨 。 
根据 测试 工程 师 的 生活 经 验 ， 学 校 的 课程 管理 分 两 类 : 必修 课 和 选修 课 。 
对 于 必修 课 ， 老 师 和 学 生 的 关系 如 图 7-9 所 示 。 
必修 课 的 课程 管理 逻辑 应 该 是 : 
课程 有 若干 任课 老师 ; 
* 年 级 有 若干 班级 ; 
. 课程 是 年 级 的 必修 课程 ; 


* 任课 老师 按 教 学 计划 给 各 个 班级 教授 课程 。 


图 7-9 ”必修 课 的 管理 


对 于 选修 课 ， 老 师 和 学 生 的 关系 的 管理 如 图 7-10 所 示 。 
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图 7-10 ”选修 课 的 管理 
选修 课 的 课程 管理 逻辑 应 该 是 : 
* 课程 有 若干 任课 老师 ; 
. 年 级 有 若干 班级 ， 班 级 有 若干 学 生 ; 
* 课程 是 年 级 的 选修 课程 ; 
. 学 生根 据 自己 的 需要 选择 课程 和 任课 老师 。 
通过 分 析 这 两 个 场景 可 以 得 到 如 下 两 点 : 


` 对 于 必修 课 ， 创 建 课程 、 维 护 课程 老师 信息 、 
学 计划 安排 的 用 户 。 这 个 用 户 应 该 通过 “教学 计划 ”之 类 的 功能 ， 将 课程 和 学 生 、 老 师 关 联 起 来。 


. 对 于 选修 课 ， 创 建 课程 和 维护 课程 老师 信 ， 


维护 课程 学 生 信 息 ， 这 些 操 作 的 用 户 的 不 是 老师 ， 而 是 年 级 组 长 或 者 负责 教 


外， 这 些 功能 的 用 户 是 年 级 组 长 或 者 负责 教学 计划 安排 的 老师 。 课 程 与 学 生 、 老 


师 之 间 关 联 关系 的 建立 ， 是 在 学 生 选 课 过 程 中 完成 的 。 
能 是 将 课程 和 学 生 信息 进行 关联 ， 但 与 必修 


景 ， 再 评审 就 会 发 现 需求 分 析 存 在 如 下 问题 : 
有 上 碟 不 


“维护 课程 学 生 信息 ”这 个 功 


以 此 为 知识 背 
用 户 目的 能 否 达 成 。 


否 实现 ， 
这 些 数 据 的 创 


1) 推演 用 户 需求 是 否 


选修 课 的 场景 都 不 符合 。 


课 、 
2) 推演 数据 处 理 过 程 CRUD， 检 查 数 据 的 创建 使 用 是 否 严谨 。 核 心 数据 包括 学 生 、 教 师 、 课 程 、 成 绩 等 ， 


可 以 从 这 个 角度 分 
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使 用 、 修 改 都 有 需求 覆盖 ， 但 没有 需求 提 到 数据 的 删除 或 者 备份 。 
否 完 整 ， 是 否 有 分 支 遗漏 。 对 于 有 工作 流 的 产品 


3) 推演 操作 场景 、 状 态 迁 移 过 程 ， 检 查 5w1H 信 息 
析 工 作 流 相关 的 需求 ， 但 在 这 个 产品 中 不 涉及 。 

以 上 是 使 用 评审 三 部 曲 进 行 需求 和 设计 评审 的 案例 。 对 于 需求 和 设计 ， 有 些 研 发 团队 还 采用 “特性 串讲 ”的 方式 进行 评审 ， 
由 测试 或 者 其 他 角色 的 评审 人 将 他 从 文档 中 获得 的 特性 信息 进行 重新 组 织 和 陈述 。 这 种 方式 除了 可 以 快速 准确 地 对 需求 和 设计 达 
成 一 致 ， 也 可 以 较 快 地 发 现 理解 、 逻 辑 方面 的 问题 ， 如 果 串 诗人 能 够 将 特性 代入 应 用 场景 ， 甚 至 可 以 较 快 地 挖掘 需求 和 场景 的 问 


题 。 
【问题 2】 即 需求 和 设计 变更 造成 测试 工作 量 的 浪费 。 
息 的 管 治平 台 (参见 5.5 节 “测试 能 力 持续 发 展 的 环境 ，) 实现 变更 信息 的 及 时 、 准 确 传递 。 


一 方面 ， 通 过 产品 信息 的 管 ; 
另 一 方面 ， 为 了 避免 测试 分 析 和 设计 工作 的 浪费 ， 建 议 在 需求 和 设计 阶段 只 完成 对 应 测试 文档 的 核心 分 析 工 作 。 测 试 文档 补 
充 细节 ， 最 终 完 成 的 时 间 ， 比 对 应 的 需求 和 设计 文档 落后 一 个 环节 。 比 如 ， 特 性 的 需求 分 析 阶 段 ， 只 列 出 需求 验收 场景 的 标题 ， 


当 设计 文档 接近 完成 时 ， 包 含 测试 数据 、 处 理 步 又、 预期 结果 的 验收 场景 用 例 才 完成 。 特 性 的 设计 阶段 ， 只 完成 特性 处 理 流程 、 
异常 分 析 图 表 ， 当 编码 接近 完成 时 ， 完 整 的 测试 方案 和 用 例 才 完成 。 


介绍 ， 参 见 7.1.4 节 “测试 充分 性 快速 提升 : 老 代码 持续 验证 ”。 


流程 出 入 口 、 处 理 的 数据 对 象 的 各 种 正常 
现在 有 些 项 目 采 用 MBT 方 式 开 展 测试 ， 在 这 些 项 目 中 ， 测 试 和 开发 的 工作 基本 上 可 以 同步 启动 ， 同 时 开展 ， 当 然 测 试 工作 
的 结束 时 间 通 常 还 是 在 开发 工作 完成 之 后 。 具 体 寺 纪 


7.1.2 ”测试 尽早 开展 : 尽早 开展 需求 验证 
尽早 开展 需求 验证 。 针 对 需求 和 场景 的 动态 测试 、 客 户 对 产品 的 体验 、 性 能 测试 ， 在 开发 过 程 中 进行 ， 而 不 是 等 到 项 目的 最 


后 阶段 集中 测试 。 

尽早 开展 需求 验证 的 作用 主要 是 纠正 信息 传递 失真 。 关 于 基本 业务 流程 的 重要 问题 尽 可 能 早 地 被 发 现 和 解决 ， 使 整个 研发 过 
程 都 在 逼近 “做 正确 的 事 ”。 

要 做 到 这 一 点 ， 前 提 条 件 是 按照 特性 进行 研发 的 计划 和 管理 ， 产 品 采 用 从 代 开发 模式 ， 每 个 迭代 都 完成 若干 可 以 交付 使 用 的 


特性 ， 这 样 测试 才 有 可 执行 的 测试 对 象 。 
理想 的 特性 划分 是 低 看 合 高 内 聚 的 ， 即 ， 对 外 实现 一 个 完整 的 功能 或 业务 流程 ， 对 内 不 依赖 其 他 待 开 发 特性 。 这 样 ， 只 需 
使 用 常规 的 测试 手段 ， 通 过 对 软件 用 户 接口 的 操作 就 可 以 完成 特性 的 测试 。 但 这 通常 都 是 做 不 到 的 ， 在 全 部 开发 完成 之 前 ， 测 试 


工程 师 拿 到 的 特性 通常 是 如 下 这 样 : 
` 只 有 后 台 逻 辑 ， 没 有 前 台 页 面 。 


只 有 业务 流程 框架 ， 实 际 处 理 逻 辑 不 完整 。 


" 只 有 主流 程 ， 没 有 分 支 和 异常 处 理 。 
: 只 有 业务 处 理 流程 ， 没 有 配套 的 数据 管理 流程 。 
" 只 有 流程 片段 ， 没 有 业务 流程 的 完整 框架 。 


很 多 使 用 迭代 模式 开发 的 产品 都 存在 这 个 问题 ， 这 意味 着 开发 工作 量 被 分 散 到 各 个 迭代 中 了 ， 但 很 大 部 分 的 测试 工作 量 却 积 
压 在 全 部 特性 开发 完成 后 ， 尤 其 是 针对 场景 的 测试 、DFX 测 试 ， 几 乎 很 少 能 够 在 迭代 开发 过 程 中 完成 。 这 样 一 来 ， 看 上 去 就 是 由 
于 测试 没有 完成 ， 导 致 产品 交付 被 延期 。 

更 糟糕 的 是 ， 采 用 迭代 开发 模式 的 本 意 是 希望 在 研发 过 程 中 持续 地 暴露 问题 ， 但 实际 情况 是 ， 过 程 中 只 暴露 了 设计 上 的 分 支 
遗漏 、 异 常 处 理 不 严谨 这 种 问题 。 真 正 导致 需求 实现 有 偏差 、 性 能 达 不 到 要 求 的 问题 ， 还 是 在 最 后 的 阶段 才 被 发 现 ， 而 产品 团队 
修改 这 些 间 题 往往 “ 伤 筋 动 骨 ”， 毫 无 意外 ， 测 试 人 员 又 会 被 问 到 : 这 种 问题 为 什么 不 能 早点 发 现 ? 

因此 ， 和 迭代 模式 下 的 测试 团队 必须 解决 这 个 问题 : 由 于 特性 划分 不 大 容易 达到 理想 状态 ， 测 试 也 就 不 可 能 仅仅 通过 组 织 、 流 
程 上 的 调整 ， 就 顺利 地 实现 对 迭代 的 充分 测试 。 

想 要 从 瀑布 模式 转变 为 真正 的 迭代 模式 ， 在 迭代 过 程 中 进行 需求 和 场景 的 测试 或 演示 ， 邀 请 用 户 初步 体验 ， 以 纠正 信息 传递 
的 偏差 ， 必 须 搭建 一 个 “过 墙 梯 ”， 如 图 7-11 所 示 。 
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图 7-11 测试 在 研发 模式 转变 中 的 作用 
这 个 “过 墙 梯 ” 就 是 较 强 的 工具 开发 能 力 ， 通 过 快速 开发 “临时 组 件 ”， 越 过 在 迭代 中 进行 业务 场景 、 应 用 场景 、 体 验 、 性 
能 测试 的 障碍 ， 例 如 : 
. 只 有 后 台 刘 辑 ， 没 有 前 台 页 面 ? 用 简易 用 户 界面 ， 使 得 特性 的 功能 特点 能 够 顺利 地 展示 。 这 样 ， 可 以 在 迷 代 中 进行 功能 演 
示 ， 与 客户 沟通 确认 需求 。 
只 有 业务 流程 框架 ， 实 际 处 理 逻 辑 不 完整 ? 用 模拟 棕 《〈 插 入 产品 或 独立 于 产品 的 一 组 代码 ) 简单 地 实现 那些 需要 被 特性 用 
到 ， 但 尚未 开发 完成 的 功能 ， 使 特性 的 主要 业务 场景 能 正常 完成 。 这 样 ， 可 以 在 选 代 中 遵 请 客户 进行 业务 场景 的 体验 ， 提 前 发 现 


业务 流程 设计 上 的 问题 。 


: 只 有 主流 程 ， 没 有 分 支 和 异常 处 理 ? 这 种 情况 无 需 工具 支持 就 能 进行 基本 业务 流程 的 性 能 验证 ， 但 业务 场景 和 体验 测试 还 
无 法 开展 。 


: 只 有 业务 处 理 流程 ， 没 有 配套 的 数据 管理 流程 ? 用 测试 工具 准备 测试 所 需 的 数据 ， 取 得 测试 结果 检查 所 需 的 数据 。 这 样 ， 
在 迭代 中 就 可 以 针对 特性 开展 功能 、 性 能 的 全 面 测 试 。 


“ 只 有 流程 片段 ， 没 有 业务 流程 的 完整 框架 ? 用 测试 驱动 (插入 产品 或 独立 于 产品 的 一 组 代码 ) 使 测试 者 能 够 按 自己 的 意图 
调用 那些 已 经 完成 开发 ， 但 是 还 没有 对 外 接口 的 功能 。 这 样 ， 在 迭代 中 就 可 以 针对 核心 功能 开展 功能 、 性 能 的 全 面 测 试 。 


需要 注意 的 是 ， 为 了 在 运 代 开 发 过 程 进行 以 发 现 缺陷 为 目的 的 性 能 测试 ， 测 试 驳 动 和 模拟 桩 还 需要 解决 好 并 发 处 理 的 问题 。 

近年 来 ， 软 件 开发 能 力 逐 渐 成 为 测试 工程 师 的 必 备 技能 之 一 ， 这 和 迭代 开发 模式 盛行 是 有 一 定 天 系 的 。 

最 后 ， 由 于 研发 团队 与 客户 、 研 发 各 角色 之 间 的 信息 传递 偏差 是 必然 存在 的 ， 因 此 工作 中 沟通 和 倾听 的 能 力也 非常 重要 。 
7.1.3 ”测试 充分 性 快速 提升 : 新 代码 快速 、 充 分 验证 

按 特 性 进行 迭代 开发 的 产品 ， 随 着 特性 的 不 断 完善 ， 新 特性 的 不 断 加 入 ， 如 果 不 注意 及 时 地 完成 验证 ， 特 别 容易 出 现 质 量 务 
化 的 情况 。 为 避免 这 种 情况 发 生 ， 需 要 使 测试 的 充分 性 随 着 开发 的 进展 快速 提升 ， 至 少 要 能 够 跟 上 特性 开发 的 进度 。 


产品 “充分 ”测试 ， 不 仅仅 需要 对 新 开发 的 代码 进行 测试 ， 达 到 要 求 的 覆盖 率 ， 也 需要 对 既 有 的 老 代 码 进行 测试 。 本 节 介绍 
新 开发 代码 及 时 验证 需要 解决 的 问题 ， 老 代码 的 持续 验证 在 下 一 节 介 绍 。 


新 代码 快速 、 充 分 验证 是 指 ， 对 特性 的 开发 和 修改 ， 能 够 第 一 时 间 得 到 比较 充分 的 、 针 对 代码 和 设计 层面 的 验证 。 新 特性 一 
旦 完成 开发 ， 对 应 的 测试 用 例 和 自动 化 工具 、 测 试 环境 和 数据 也 能 就 绪 ; 特性 的 修改 和 完善 一 旦 完成 ， 原 有 的 特性 用 例 和 自动 化 
脚本 也 同步 完成 更 新 。 


新 代码 快速 、 充 分 验证 的 主要 作用 是 ， 约 束 研发 过 程 质量 ,识别 和 管理 风险 。 新 特性 符合 质量 要 求 ， 这 是 产品 质量 维持 稳定 
的 基础 。 


新 代码 快速 、 充 分 验证 在 实施 中 ， 需 要 解决 两 个 问题 : 


1) 用 例 和 自动 化 脚本 与 特性 代码 同时 就 绪 、 同 步 更 新 。 很 多 时 候 特 性 设计 和 实现 方案 的 修改 会 导致 大 量 的 用 例 和 脚本 重 
测试 需要 在 提前 就 绪 和 减少 工作 量 浪费 之 间 找 到 平衡 。 


可 


2) 特性 开发 完成 后 ， 特 性 的 功能 、 业 务 场景 ， 以 及 性 能 等 测试 能 够 在 较 短 时 间 内 完成 ， 特 性 的 绝 大 部 分 缺陷 能 够 在 迭代 测 
试 中 发 现 和 修改 。 


针对 问题 1， 即 用 例 和 代码 同步 ， 我 们 的 项 目 采 取 如 下 3 种 做 法 。 


1) 简化 用 例 ， 延 迟 自动 化 实现 。 在 特性 开发 过 程 中 完成 测试 方案 和 用 例 ， 用 例 简化 到 只 有 标题 、 主 要 验证 目的 和 关键 数 
据 。 待 特性 开发 完成 ， 基 本 功能 稳定 后 再 实现 自动 化 用 例 。 

这 种 方式 是 将 测试 设计 中 变化 很 少 、 修 改 简便 的 部 分 提前 完成 ， 随 需求 和 设计 变更 频繁 的 内 容 延 迟 实 现 。 这 样 可 以 最 大 限度 
地 减少 对 测试 方案 和 用 例 的 反复 修改 。 但 这 种 方式 只 是 减少 了 测试 工作 量 的 浪费 ， 对 新 代码 快速 、 充 分 验证 没有 实质 上 的 作用 ， 
既 没有 增加 对 测试 充分 性 的 保障 ， 也 没有 提升 测试 的 效率 。 


如 果 通 过 需求 和 设计 的 评审 、 与 客户 的 沟通 和 演示 ， 发 现 客户 或 研发 对 特性 的 价值 、 应 用 场景 考虑 不 成 熟 ， 目 前 的 版 本 属于 
实验 或 试探 性 质 ， 那 么 采用 这 个 做 法 无 疑 是 合适 的 。 


2) story 开 发 测试 文档 合并 。 特 性 的 设计 和 测试 文档 在 同一 篇 文档 中 ， 这 篇 文档 包括 特性 的 设计 方案 ， 以 及 测试 时 需要 覆盖 
的 内 容 (相当 于 测试 方案 ) 。 特 性 不 再 有 详细 的 测试 用 例文 档 ， 文 本 用 例 和 自动 化 用 例 合并 ， 在 自动 化 平台 上 管理 。 
文档 的 合并 的 主要 作用 是 ， 使 开发 和 测试 工程 师 在 特性 的 设计 阶段 进行 更 主动 的 合作 ， 在 有 限 的 时 间 内 获得 更 好 的 测试 设计 


质量 。 但 是 ,测试 用 例 实现 和 执行 的 工作 量 绝 大 部 分 仍 积压 在 开发 工作 完成 之 后 ， 在 迭代 的 时 间 窗 内 ， 仍 较 难 完成 比较 充分 的 测 
试 和 回归 测试 。 


测试 用 例 及 其 自动 化 脚本 可 以 在 特性 编码 阶段 完成 ， 也 可 以 在 测试 执行 过 程 中 完成 ， 测 试 工程 师 可 以 根据 实际 条 件 决定 。 自 
动 化 方案 成 熟 的 产品 ， 可 以 在 编码 阶段 和 测试 执行 阶段 完成 常规 用 例 的 自动 化 脚本 调试 ， 这 种 情况 下 ， 则 有 机 会 在 迭代 的 时 间 窗 
内 完成 缺陷 修改 后 的 回归 测试 。 

3) MBT。 理 想 情况 是 : 开发 和 测试 工程 师 共同 完成 特性 的 需求 和 设计 模型 ， 后 续 的 开发 和 测试 都 基于 这 些 模 型 。 在 特性 的 
设计 和 开发 阶段 ， 测 试 根据 需求 和 设计 方案 建立 模型 并 和 特性 实现 方案 保持 同步 修改 ， 在 特性 开发 完成 后 ， 经 过 最 后 的 调试 ， 就 
可 以 批量 生成 测试 用 例 及 其 自动 化 脚本 。 


这 是 目前 实践 过 的 、 兼 顾 质 量 和 效率 的 、 最 好 的 方法 ， 但 工具 和 技术 仍 需 继续 完善 。 首 先 ，MBT 实 施 的 门槛 较 高 ， 需 要 测 
试 工 程 师 具 有 很 好 的 建 模 能 力 ;其 次 ， 留 给 模型 和 自动 化 用 例 的 调试 时 间 有 限 ， 一 旦 模型 调试 无 法 按时 完成 ， 新 代码 测试 将 面临 
无 用 例 可 用 的 问题 。 


对 于 原本 就 基于 模型 进行 设计 和 开发 的 产品 ， 这 个 方式 值得 尝试 。 
以 上 几 种 使 用 例 和 代码 保持 一 致 的 做 法 ， 其 作用 和 问题 汇总 如 表 7-1 所 示 。 


表 7-1 用 例 和 代码 保持 同步 的 可 选 方法 


主要 作用 问题 
简化 用 例 控制 反复 修改 测试 方案 和 用 例 | ”只 是 减少 了 测试 工作 量 的 浪费 ， 对 新 代码 快速 、 
和 关上 qd \ wy .i 
的 工作 量 充分 验证 没有 实质 上 的 作用 
本 ee 测试 的 工作 量 绝 大 部 分 积压 在 开发 工作 完成 之 后 ， 
合并 文档 促成 开发 测试 在 设计 上 的 合作 | eve pr eb pi ime 
在 迭代 的 时 间 窗 内 ， 很 难 完成 比较 充分 的 测试 
实施 门槛 较 高 
: 留 给 模型 和 自动 化 用 例 的 调试 时 间 有 限 ， 一 旦 模 
Wa 是 升 开发 阶段 测试 工作 的 成 效 | ，、、… 1 


用 的 问题 


针对 问题 2， 即 特性 测试 执行 提速 。 特 性 测试 有 针对 设计 的 验证 和 针对 需求 的 验证 。 和 迭代 开发 中 进行 需求 验证 的 问题 和 解决 
方法 ， 在 7.1.2 节 “测试 尽早 开展 : 尽早 开展 需求 验证 ”中 已 经 介绍 。 


迭代 开发 中 进行 设计 验证 ， 需 要 解决 的 技术 问题 包括 : 


. 环境 快速 获取 。 我 们 产品 的 迭代 开发 项 目 中 ， 特 性 设计 开发 通常 是 1~2 周 ， 相 应 的 测试 时 间 窗 是 3~5 天 。 在 采用 和 迭代 开发 
模式 之 前 ， 通 常会 为 环境 搭建 计划 1~2 天 的 工作 量 ， 这 样 的 环境 搭建 效率 显然 无 法 满足 迁 代 测试 的 需要 。 环 境 快速 获取 的 解决 方 
法 是 ， 设 计 若 干 种 满足 不 同 测试 需要 的 标准 环境 ， 实 现 这 些 标 准 环境 的 自动 化 搭建 ， 包 括 ， 软 件 安装 、 参 数 配 置 、 数 据 加 载 ， 最 
后 利用 主要 老 特 性 的 验收 自动 化 用 例 对 整个 软件 系统 进行 检测 。 开 发 环境 管理 工具 实现 环境 的 统一 管理 、 申 请 、 准 备 、 回 收 。 通 
常 测试 工程 师 在 提交 环境 使 用 需求 后 1h 之 内 ， 就 可 以 得 到 一 个 检测 通过 的 测试 环境 ， 只 需要 在 此 基础 上 完成 新 特性 测试 需要 的 配 


置 和 数据 加 载 ， 就 可 以 开始 测试 执行 。 


: 缺陷 辅助 定位 。 数 据 分 析 显 示 ， 处 理 缺 陷 ， 包 括 缺 陷 的 确认 、 重 现 、 定 位 、 修 改 、 验 证 ， 大 约 占 软 件 开发 和 测试 阶段 工作 
量 的 一 半 。 就 是 说 测试 执行 过 程 中 ， 大 约 有 一 半 的 时 间 是 在 重复 操作 确认 问题 ， 协 助 开 发 工程 师 重 现 和 定位 问题 ， 回 归 测 试 确认 
缺陷 修改 正确 。 通 过 缺陷 辅助 定位 工具 ， 可 以 提高 这 部 分 工作 的 效率 。 在 一 个 用 例 执行 不 通过 的 时 候 ， 工 具 自动 采集 缺陷 定位 所 
需 的 信息 ， 如 ， 系 统 产生 的 日 志和 其 他 过 程 与 结果 记录 ， 产 生变 化 的 数据 库 记 录 ， 此 用 例 执 行 履 盖 到 的 代码 等 。 通 过 这 些 信 息 ， 
可 以 在 无 需 重 现 、 无 需 跟踪 执行 的 情况 下 定位 大 部 分 的 问题 。 当 然 ， 要 实现 这 个 目的 ， 仅 仅 有 工具 是 不 够 的 ， 还 需要 产 


强 日 志 劝 能 ， 例 如 在 函数 的 入 口 和 出 口 记录 函数 的 输入 、 输 出 参数 (参见 10.2.2 节 “功能 缺陷 快速 修复 的 测试 架构 ”) 。 


- 未 覆盖 代码 风险 分 析 。 了 既然 新 代码 快速 、 充 分 验证 的 主要 作用 是 约束 研发 过 程 质量 ， 识 别 和 管理 风险 ， 那 么 必然 也 需要 在 
和 迭代 测试 的 时 间 窗 之 内 ， 完 成 特性 的 质量 和 风险 评估 。 在 采用 迁 代 开发 模式 之 前 ， 在 整个 测试 执行 阶段 ， 随 时 都 可 能 因为 新 冒 出 
来 的 灵感 ， 对 某 个 特性 补充 一 些 测试 用 例 ， 丈 补 测试 设计 的 朴 漏 。 在 迭代 开发 模式 中 ， 特 性 测试 要 在 迭代 测试 时 间 窗 之 内 究 成 ， 
其 他 的 补充 测试 只 有 在 所 有 特性 开发 完成 后 的 系统 测试 中 才 有 机 会 做 ， 也 就 是 说 ， 需 要 在 时 间 窗 之 内 发 现 测试 设计 的 玖 漏 。“ 未 
覆盖 代码 风险 分 析 ” 是 发 现 测试 设计 跤 漏 的 方法 ， 也 是 评估 质量 和 风险 的 比较 有 效 的 方法 。 在 设计 的 测试 用 例 执 行 完 成 后 ， 开 发 
和 测试 一 起 对 这 些 用例 未 履 盖 到 的 新 开发 代码 进行 分 析 ， 对 需要 覆盖 的 代码 补充 用 例 ， 对 不 需要 覆盖 的 评估 风险 。 代 码 履 盖 率 对 
于 质量 评估 来 说 是 很 粗略 的 方法 ， 但 是 ， 这 是 目前 能 用 到 的 、 唯 一 能 够 满足 效率 要 求 的 方法 。 


需要 满足 迭代 测试 进度 需要 的 ， 还 有 测试 执行 活动 ， 但 是 测试 执行 有 其 必需 的 工作 量 ， 这 在 我 们 的 研发 团队 中 是 有 共识 的 。 
目前 也 没有 发 现 简便 、 可 靠 的 提高 测试 执行 的 效率 的 方法 〈 没 有 突破 性 的 技术 做 后 盾 ， 贸 然 提 高 测试 执行 效率 ， 必 然 是 使 测试 不 
经 大 脑 ， 言 目 执行 ) 。 事 实 上 ， 测 试 执行 上 的 真正 挑战 是 自动 化 方案 如 何 适 应 迭代 的 需要 ， 这 个 内 容 在 下 一 节 “ 老 代码 持续 验 
证 ”中 讨论 。 


综 上 所 述 ， 为 了 实现 新 代码 快速 、 充 分 验证 ， 需 要 在 迭代 测试 的 测试 设计 、 测 斌 执行、 结果 评估 上 开展 如 图 7-12 所 示 的 一 
系列 工作 。 
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图 7-12 ”实现 新 代码 快速 、 充 分 验证 的 方法 


设计 验证 和 需求 验证 ， 都 是 在 迭代 周期 内 完成 新 特性 的 测试 。 前 者 主要 是 考虑 针对 设计 和 代码 的 集成 测试 、 系 统 测试 ， 对 特 
性 划分 的 高 内 聚 、 低 耦合 没有 太 高 的 要 求 ， 只 需要 运 代 开发 的 功能 点 是 完整 的 就 可 以 。 后 者 主要 是 完成 针对 需求 和 业务 场景 的 系 
统 测试 、 验 收 测试 ， 对 特性 划分 有 较 大 的 依赖 。 二 者 同样 需要 很 强 的 工具 开发 能 力 ， 但 后 者 的 工具 开发 需要 根据 每 个 迭代 、 每 个 
特性 的 实际 情况 临时 开发 ， 想 做 出 通用 、 易 用 的 工具 难度 很 大 ， 因 此 后 者 实施 难度 也 比 前 者 大 。 


7.1.4 ”测试 充分 性 快速 提升 : 老 代 码 持续 验证 


老 代 码 持续 验证 是 指 ， 对 已 经 完成 测试 的 特性 ， 在 后 续 的 迭代 开发 中 仍 持续 进行 验证 ， 确 保 后 续 的 开发 不 对 这 个 特性 造成 意 
外 的 影响 。 


老 代 码 持续 验证 的 目的 是 ， 约 束 研发 过 程 质量 ,识别 和 管理 风险 。 这 是 确保 不 发 生 特性 丢失 和 意外 变更 、 质 量 劣 化 的 重要 于 
段 。 


产品 的 特性 不 断 增加 ， 靠 手工 测试 是 无 法 实现 对 老 代码 的 持续 验证 的 ， 因 此 老 代码 持续 验证 ， 核 心 能 力 是 新 产生 的 测试 用 例 
需要 在 第 一 时 间 实 现 自动 化 ， 对 自动 化 能 力 有 以 下 要 求 : 


* 自动 化 覆盖 率 高 。 特 性 的 功能 、 业 务 场景 以 及 性 能 等 都 能 够 实现 自动 化 测试 ， 这 样 对 老 代 码 的 质量 守护 才 比 较 完 整 。 


:自动 化 用 例 实现 效率 高 。 新 自动 化 用 例 实现 和 调试 (相当 于 用 例 的 首次 测试 执行 ) 的 效率 不 低 于 手工 测试 的 效率 ， 这 样 自 
动 化 实现 才能 跟 上 迭代 开发 的 节奏 。 手 工 测试 效率 的 经 验 数 据 是 ， 包 含 测 试 设计 和 执行 的 工作 量 ， 一 般 的 产品 平均 每 天 30~70 个 
用 例 ; 大 型 解决 方案 平均 每 天 10~25 个 用 例 。 


自动 化 与 CI 集成 。 调 试 通过 的 自动 化 用 例 可 以 直接 用 于 CI，CI 运 行 几乎 不 需要 人 工 干预 ，CI 中 的 测试 用 例 100% 通 过 ， 已 
成 为 开发 提交 新 代码 的 必要 条 件 。 更 理想 的 情况 是 ， 新 特性 的 基本 功能 测试 用 例 在 编码 过 程 中 就 投入 使 用 ， 这 样 可 以 起 到 控制 新 
开发 代码 质量 的 目的 ， 同 时 提升 开发 进行 基本 验证 的 效率 。 


总 的 说 来 ， 对 自动 化 能 力 的 要 求 是 : 功能 、 业 务 场景 自动 化 测试 用 例 实 现 的 效率 和 手工 测试 效率 基本 持平 ， 而 且 一 旦 调试 通 
过 ， 就 可 以 用 于 Cl， 成 为 持续 集成 验证 用 例 的 一 部 分 。 这 对 自动 化 方案 是 很 高 的 要 求 一 一 自动 化 工具 非常 便于 使 用 ， 自 动 化 用 
例 编写 简便 ; 测试 工具 的 设计 实现 有 成 熟 的 模式 和 模板 ， 新 特性 的 工具 只 需要 与 产品 经 过 简单 的 对 接 、 调 试 后 就 能 正常 使 用 。 


我 们 的 测试 团队 曾经 实践 过 多 种 自动 化 方案 ， 其 中 有 代表 性 的 方案 有 以 下 几 个 。 


.fobot 早 期 录制 回放 。 在 手工 测试 的 同时 ， 将 测试 工程 师 在 GUI (图 形 化 用 户 界 面 ) 界面 上 的 操作 及 其 数据 直接 录制 成 自动 
化 用 例 。 理 论 上 ， 录 制 的 方式 下 ， 自 动 化 用 例 实现 效率 满足 要 求 。 但 录制 的 用 例 通常 无 法 直接 用 于 CI， 其 原因 是 ， 录 制 的 操作 参 
数 使 用 的 是 常量 ， 在 CI 执行 时 要 改 成 从 数据 库 或 配置 读 取 的 变量 ; 录制 的 脚本 只 有 操作 ， 没 有 结果 检查 ， 需 要 增加 结果 检查 的 内 
容 。 实 际 使 用 中 ， 录 制 的 脚本 是 一 个 很 长 的 操作 序列 ， 脚 本 不 便于 测试 工程 师 理解 和 修改 ， 可 维护 性 、 可 继承 性 不 满足 长 期 自动 
化 积累 的 需要 。 


“TCL (Tool Command Language) 和 TTCN (Testing and Test Control Notation) 编写 用 例 。 用 TCL 语 言 实现 测试 用 例 的 自动 化 
脚本 。TCL 语 言 是 面向 过 程 的 语言 ， 且 没有 太 成 熟 易 用 的 开发 环境 ， 因 此 用 例 实现 和 调试 效率 低 ， 用 例 修改 、 尤 其 是 大 面积 修改 
困难 ， 可 继承 性 不 满足 要 求 ， 因 此 TCL 没 有 使 用 太 久 就 被 放弃 了 。 在 放弃 了 TCL 之 后 就 一 直 使 用 TTCN， 用 这 种 语言 构造 消息 、 
控制 接口 非常 方便 ， 直 到 现在 很 多 产品 在 协议 测试 中 仍 使 用 TTCN， 但 用 于 功能 测试 还 是 存在 用 例 可 读 、 可 继承 性 不 足 的 问题 。 


. 数据 驱动 。 将 测试 用 例 的 操作 过 程 和 测试 数据 分 离 ， 操 作 过 程 用 程序 实现 ， 用 例 简化 为 一 条 结构 化 数据 。 只 需要 调试 过 程 
实现 ， 几 乎 不 用 对 用 例 进 行 调试 。 对 于 过 程 变动 不 大 、 分 支 不 是 很 复杂 的 特性 ， 可 以 满足 自动 化 实现 和 调试 效率 、 长 期 可 继承 的 
要 求 ; 对 于 操作 过 程 复杂 且 变 更 频繁 的 特性 ， 用 例 的 维护 很 困难 ， 几 乎 无 法 重用 ， 需 要 使 用 灵活 性 更 好 的 AW 方 案 。 由 于 用 例 简 
化 为 一 条 数据 ， 十 分 便于 开发 工程 师 快 速 实现 测试 用 例 并 执行 ， 因 此 ， 数 据 驱动 是 TDD (测试 驱动 开发 ) 的 常用 方式 。 


. 关键 字 驱 动 (ActionWord，AW) 。 将 测试 用 例 的 操作 过 程 和 测试 数据 分 离 ， 并 将 操作 过 程 分 步骤、 分 层 抽 象 成 为 AW， 自 
动 化 用 例 使 用 AW 搭 建 。 通 过 关键 字 的 抽象 简化 了 用 例 脚 本 ， 用 例 实 现 和 调试 效率 高 (大 部 分 产品 调试 自动 化 用 例 的 效率 与 手工 
测试 基本 持平 ) ， 对 于 单个 操作 、 单 个 功能 变化 导致 的 用 例 大 面积 修改 ， 可 以 通过 调整 AW 实 现 ， 满 足 自 动 化 实现 和 调试 效率 、 


长 期 可 继承 要 求 。AW 是 目前 产品 实现 自动 化 测试 的 主流 方案 。 


" 基于 模型 的 测试 (MBT) 。 在 AW 的 基础 上 ， 用 建 模 的 方法 进行 测试 设计 ， 测 试用 例 和 自动 化 脚本 基于 模型 生成 。 对 于 业 
务 流程 变化 导致 的 用 例 大 面积 修改 ， 可 以 通过 调整 模型 实现 ; 对 于 单个 操作 、 单 个 功能 变化 导致 的 用 例 大 面积 修改 ， 可 以 通过 调 
整 和 AW 实 现 。 理 论 上 ， 可 以 满足 自动 化 实现 和 调试 效率 、 长 期 可 继承 的 要 求 。 但 MBT 的 应 用 现在 还 不 够 成 熟 ， 在 实践 中 发 现 : 建 
模 过 程 对 测试 工程 师 的 逻辑 分 析 能 力 有 较 高 的 要 求 ， 模 型 搭建 和 调试 效率 不 高 ， 想 要 降低 MBT 使 用 门槛 ， 除 了 工具 简单 易 用 ， 
还 需要 形成 固定 的 建 模 模式 或 者 模板 才 行 。 目 前 主要 在 一 些 面 对 多 个 客户 、 每 个 客户 要 求 的 特性 类 似 但 又 有 明显 区 别 的 产品 
中 ，MBT 取 得 了 较 好 的 效果 。 

在 这 些 自动 化 方案 中 ，AW (关键 字 驱 动 ) 、 数 据 驱动 、MBT 有 可 能 满足 自动 化 用 例 实现 和 调试 效率 的 要 求 。AW 是 目前 主 


流 的 自动 化 方案 ， 而 MBT 是 未 来 的 主推 方案 。 我 们 的 MBT 方 案 是 建立 在 AW 自 动 化 框架 和 测试 设计 四 步 法 基础 之 上 的 ， 如 图 7- 
13 所 示 。MBT 也 有 可 能 建立 在 其 他 自动 化 框架 之 上 ， 比 如 数据 驱动 。 


” MBT 以 测试 设计 | 
方法 和 AW 自 动 | 
化 框架 为 基础 | 
测试 设计 自动 化 一 
第 四 代 oi 测试 执行 自动 化 
+ 旬 
| = 人 NAction Word “测试 设计 四 步 活 ”| 
:个 扫 条 ,工程 方法 
FA 
， 第 一 代 。 语 制 ? 回 放 模板 


图 7-13 ”自动 化 演变 
测试 设计 四 步 法 指 : STEP1， 根 据 需求 和 设计 进行 测试 建 模 ; STEP2， 根 据 模型 ， 使 用 测试 设计 方法 产生 抽象 用 例 ; 
STEP3， 根 据 数据 履 盖 原则 ， 为 抽象 用 例 填充 测试 数据 ， 形 成 可 执行 用 例 ; STEP4， 根 据 经 验 补充 其 他 用 例 。 
MBT 是 近年 来 逐步 成 熟 起 来 的 测试 技术 ， 这 里 简单 介绍 一 下 其 工作 原理 。 


如 图 7-14 所 示 ， 总 的 说 来 ，MBT 就 是 以 需求 为 主要 输入 ， 并 结合 测试 经 验 进行 建 模 形成 测试 模型 。 在 模型 中 根据 测试 策略 
确定 覆盖 的 重点 后 ， 生 成 测试 用 例 。 在 模型 中 根据 自动 化 的 需要 进行 配置 和 适 配 后， 生成 测试 用 例 的 自动 化 脚本 。 当 需求 和 设计 
发 生变 更 时 ， 只 需要 调整 测试 模型 的 相应 部 分 ， 就 可 以 全 面 更 新 测试 用 例 及 其 自动 化 脚本 。 
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图 7-14 MBT 工 作 原 理 
MBT 的 核心 是 测试 模型 ， 为 了 满足 测试 设计 的 需要 ， 测 试 模型 需要 具备 的 要 素 如 表 7-2 所 示 。 


表 7-2 MBT 测 试 模型 要 素 


测试 模型 要 素 测试 设计 内 容 
流程 图 、 状 态 迁 移 图 ( 含 计算 、 人 逻辑 判断 等 ) 业务 场景 、 测 试 设 计 因 子 及 其 对 场景 的 影响 
数据 结构 接口 、 数 据 库 表 
算法 选择 及 其 配置 测试 策略 
流程 图 、 状 态 机 图 中 动作 与 AW 映射 自动 化 方案 设计 


MBT 将 测试 分 析 和 设计 的 全 部 内 容 ， 通 过 测试 模型 来 表示 。 

: 业务 流程 或 状态 变迁 ， 影 响 流 程 和 状态 迁移 的 因子 和 参数 ， 这 些 通过 流程 或 者 状态 迁移 模型 表达 。 
* 特性 的 外 部 接口 、 数 据 接 口 ， 这 些 通过 数据 结构 模型 表达 。 

: 参数 组 合 履 盖 的 强度 、 图 形 遍 历 的 方式 和 强度 ， 这 些 通过 用 例 生 成 算法 的 参数 配置 实现 。 


“ 自动 化 设计 的 AW， 与 流程 或 状态 迁移 模型 中 的 动作 符号 对 应 。 


MBT 将 测试 分 析 和 设计 的 内 容 形式 化 为 方便 机 器 理解 的 图 、 表 ， 这 样 就 可 以 让 机 器 根据 模型 自动 生成 用 例 及 其 脚本 。MBT 
不 仅仅 是 自动 化 技术 ， 更 带 来 了 测试 模式 上 的 变化 ， 这 种 变化 至 少 可 以 达成 以 下 这 些 业务 改进 目标 : 


1) 使 测试 快速 响应 变化 。 传 统 的 测试 是 先 设计 方案 ， 再 编写 用 例 ， 最 后 再 实现 自动 化 脚本 ， 一 旦 需求 或 设计 的 变化 发 生 在 
用 例 编写 后 ， 就 需要 大 面积 地 修改 用 例 甚 至 脚本 ， 这 也 人 迫使 测试 工程 师 不 敢 太 早 启 动 测试 用 例 设 计 和 自动 化 工作 。 


MBT 模 式 下 ， 测 试 只 天 注 建 模 (相当 于 只 设计 方案 ) ， 用 例 和 脚本 都 是 自动 化 生成 的 ， 任 何 时 候 需 求 或 者 设计 发 生变 化 ， 
都 只 需要 维护 模型 ， 因 此 可 以 快速 响应 变化 。 


2) 提升 测试 设计 的 可 继承 性 。 传 统 的 测试 模式 下 ， 由 于 需求 的 增加 或 修改 ， 测 试 方案 、 产 品 实现 与 用 例 都 已 不 一 致 ， 因 此 
测试 方案 通常 无 法 继承 ， 版 本 间 可 以 继承 的 主要 是 测试 用 例 。 测 试用 例 包 售 了 特性 全 有 够 、 测 试 分 析 和 设计 的 思路 等 信息 ， 但 是 用 
例 是 离散 的 验证 点 ， 很 难 根据 测试 用 例 还 原 出 很 系统 的 、 全 貌 的 信息 。 就 是 由 于 这 个 原因 ， 在 特性 新 增 或 修改 功能 时 ， 测 试 工程 
师 宁 可 写 一 批 新 用 例 ， 也 不 愿意 修改 原来 的 用 例 。 继 承 用 例 主要 是 成 果 的 继承 ， 不 是 经 验 和 能 力 的 继承 。 


MBT 模 式 下 继承 的 是 模型 ， 图 形 、 表 格 形式 的 模型 比 文本 形式 的 用 例 更 直观 、 易 理解 ， 更 容易 读 懂 模 型 中 包含 的 特性 全 
貌 、 测 试 分 析 和 设计 的 思路 等 信息 ， 在 特性 新 增 或 修改 功能 时 ， 测 试 工程 师 愿意 花 少量 时 间 读 慌 并 修改 特性 原 有 的 模型 ， 而 不 是 
对 特性 重新 建 模 。 继 承 模型 是 成 果 的 继承 ， 也 是 设计 思路 和 经 验 的 继承 。 


3) 更 有 效 地 参与 前 端的 研发 活动 。 在 7.1.1 节 “测试 尽早 开展 : 全 程 软件 测试 ”中 提 到 : 结合 特性 的 业务 场景 和 应 用 场景 测 
试 设计 进行 评审 ， 才 最 有 可 能 发 现 需求 的 错误 、 遗 漏 或 存疑 的 地 方 。 传 统 模式 下 ， 在 设计 和 开发 阶段 ， 测 试 的 主 业 是 测试 分 析 设 
计 ， 完 成 测试 方案 、 用 例 、 脚 本 的 编写 ， 不 可 能 花 太 多 时 间 去 做 额外 的 需求 review 工 作 。 而 且 ， 在 需求 review 阶 段 ， 需 求 本 身 
还 不 稳定 ,测试 人 员 不 会 在 这 个 阶段 启动 测试 分 析 和 设计 的 工作 ， 以 免 后 续 需 求 变 更 导致 大 量 的 测试 返工 。 因 此 ， 测试 参 与 研发 
前 端的 需求 review， 大 部 分 停留 在 理解 阶段 。 


MBT 模 式 下 ， 测 试 分 析 可 以 从 需求 分 析 开 始 ， 一 直 持 续 到 编码 完成 ， 需 求 变 更 给 设计 、 开 发 、 测 试 带 来 的 变更 工作 量 基本 
上 是 一 样 的 。 测 试 在 完成 对 需求 的 理解 后 ， 开 始 着 手 测试 建 模 ， 从 测试 的 视角 重新 组 织 需求 分 析 和 设计 的 信息 ， 并 将 相关 需求 的 
舍 息 相互 对 照 、 印 证 。 因 此 ， 测 试 人 员 参 与 研发 前 端的 需求 review， 更 有 可 能 进入 到 质疑 、 建 设 阶 段 。 

MBT 的 这 些 特点 ， 对 测试 的 各 个 利益 相干 人 有 不 同 价值 ， 如 表 7-3 所 示 ， 如 果 想 要 开始 尝试 使 用 MBT 模 式 开展 测试 ， 可 以 考 
虑 用 这 些 价 值 获得 利益 相干 人 的 支持 。 


表 7-3 MBT 对 各 利益 相干 人 的 价值 


利益 相干 人 


测试 主管 


测试 设计 可 继承 性 提升 


需要 克服 的 困难 
券 上 述 介绍 中 的 
测试 用 例 维护 成 本 降低 + 


参 
试 设 ; 


:提升 测 | 人 
的 可 继承 性 ” 控制 力 减 弱 用 例 之 前 ， 很 难 
衡量 工作 进度 
参考 上 述 介绍 中 的 “使 测试 ， 
测试 效率 提升 快速 响应 变化 ” 每 个 使 用 此 
研发 主管 更 及 时 的 自动 化 带 来 更 好 的 双 验 数据 : MBT 应 用 初期 
CI 窗 盖 率 对 测试 效率 


方法 的 工程 师 
人 员 训 练 成 本 | 二 人 
Ee 需 要 4 一 10 有 周 
人 均 测 试 代码 el 
i 的 学 习 成 本 
量 ) 有 约 15% 的 提升 
主管 参考 上 述 介绍 中 的 “更 有 效 
生计 主 生 
的 参与 前 端的 研发 活动 ” 


更 早 的 需求 和 设计 验证 


减少 重复 工作 ，: 
测试 人 员 | 


测试 会 提出 
更 难 缠 的 测试 
自己 的 工作 


更 多 质疑 或 建 


设 性 问题 
0 很 多 时 候 需 
能 够 直观 地 说 明 测试 徐 盖 了 | > 丰 太 
哪些 情况 i 
想 要 更 进一步 了 解 MBT， 呈 


要 自己 挤 时 间 
cs | 

需要 找 相应 的 书籍 、 文 章 和 工具 进行 进 
题 外 话 : 


MBT 和 探索 测试 都 给 测试 带 来 模式 上 的 变化 ， 不 应 该 仅仅 被 看 作 一 个 解决 具体 问题 的 “方法 MBT 用 模型 强调 
了 测试 设计 ， 因 此 ，MBT 是 测试 工程 化 的 台阶 。 探 索 式 测试 根据 执行 结果 决定 后 续 的 动作 ， 因 此 ， 探 索 测试 是 测试 艺术 化 ( 指 
更 多 的 依靠 人 的 智慧 、 灵 感 、 知 识 、 能 力 ) 的 台阶 

实现 自动 化 需要 决定 的 不 仅仅 是 技术 方案 ， 还 需要 用 一 个 自动 化 整体 策略 回答 以 下 问 
1) 月 不 玫 


和 撕 误 mn 


某 些 游戏 中 的 关卡 


加 力 吕 
作用 ， 以 及 是 否 需 


要 实现 自动 化 。 自 动 化 用 例 通常 都 是 为 了 重新 测试 老 特性 而 准备 的 ， 如 果 老 特性 永远 也 不 会 需要 重新 验证 ， 比 如 
那么 就 不 需要 自动 化 。 所 有 的 测试 都 是 以 友 现 缺陷 、 规 避风 险 为 目的 的 ， 如 果 产 品 从 来 没有 遭遇 过 新 上 线 版 
本 的 老 特性 出 问题 ， 那 就 证 明 产 品 架 
AE nT 实 


开口 KI RY a : 熙 四 、 
构 或 者 是 开发 模式 已 经 能 够 保证 者 特性 不 出 错 ， 也 就 没有 必要 做 自动 化 测试 。 对 于 自动 化 的 
要 实现 自动 化 测试 ， 参 见 5.2.4 节 “测试 设计 vs 自动 化 ”中 的 相关 内 容 
2) 选择 自动 化 方案 。 确 定 了 需要 自动 化 测试 的 特性 后 
案 ， 主 流 的 自动 化 方案 的 特点 如 表 7-4 所 示 。 


需要 根据 特性 的 特点 、 工 作 量 、 团 队 的 能 力 储备 情况 选择 自动 化 方 


表 7-4 主流 自动 化 方案 对 比 


自动 化 方案 工具 开发 工作 量 | 用 例 开发 工作 量 | 适应 特性 变更 对 测试 工程 师 应 用 建议 
能 力 要 求 


robot 早 期 录 有 成 熟 的 商用 [ 作 量 中 等 ， 特性 变更 会 导 掌握 录制 得 到 从 GUI 接 口 
制 回放 [ 具 ， 几 乎 没有 工 | 除 录制 外 ,还 需 | 致 用 例 大 面积 修 | 的 用 例 脚本 所 用 | 看 , 功能 稳定 的 
具 开 发 的 工作 量 | 要 手工 调整 脚本 | 改 , 工作 量 大 的 语言 ， 学 习 成 | 特性 
本 较 低 
脚本 或 编程 语 有 商用 工具 ， [ 作 量 大 ， 需 特性 变更 会 导 编程 语言 ， 学 不 推荐 
言 编写 用 例 如 果 需 要 扩展 命 | 要 手工 编写 、 调 | 致 用 例 大 面积 修 | 习 成 本 中 等 
令 则 有 相应 的 工 | 试 脚本 改 ,， 工 作 量 大 
具 开 发 工作 最 ， 
否则 几乎 没有 工 
具 开 发 的 工作 是 
数据 驱动 针对 每 个 特性 [ 作 量 很 小 ， 特性 变更 通过 编程 (针对 特 -组 操作 过 程 
开发 测试 程序 ,| 只 需要 设计 实现 | 修改 测试 程序 实 | 性 开发 测试 程 | 类 似 的 用 例 共 用 
用 程序 实现 特性 | 测试 数据 现 , 工作 量 较 小 | 序 ， 因 此， 所 | 一 个 测试 程序 ， 
的 操作 过 程 ， 开 有 测试 工程 师 都 | 因此 ， 适用 于 分 
发 工作 最 较 大 需要 具备 编程 能 | 支 操 作 不 复杂 的 
力 )， 学 习 成 本 | 特性 


A 


ge 
gr 
! 中 等 


关键 字 驱 动 针对 产品 主要 [ 作 其 较 小 ， 特性 单个 操作 、 [C 具 平台 和 很 好 地 适应 单 
特性 开发 工具 平 | 使 用 AW 和 测试 | 单个 功能 变更 通 | AW 开发 需要 有 | 个 操作 、 单 个 功能 
台 和 AW， 开 发 | 数据 编排 测试 | 过 修改 AW 实 | 软件 设计 开发 能 | 的 变化 ， 但 不 太 
[ 作 量 大 用 例 现 , 工作 呈 较 小 “| 力 ; 对 工具 使 用 | 适用 于 操作 过 程 
者 没有 特别 的 能 | 闫 繁 变更 的 特性 
力 要求 ， 学 习 成 
本 较 低 
MBT 有 商用 的 MBT [ 作 量 中 等 ， 特性 变更 通过 | ” 建 模 ， 学 测试 设计 方 
[ 具 ， 但 需要 在 | 用 建 模 的 方式 完 | 调整 模型 与 AW | 本 较 高 法 、 自 动 化 应 用 
[ 具 上 定制 开发 ，| 成 测试 设计 和 自 | 实现 ,工作 最 成 熟 的 团队 
使 之 适 配 既 有 的 | 动 化 设计 较 小 
自动 化 工具 


3) 从 哪个 接口 做 自动 化 。 手 工 测试 通常 会 倾向 于 从 用 户 接口 进行 测试 ， 比 较 易于 操作 ， 也 能 够 更 真实 地 模拟 用 户 的 行为 、 
得 到 用 户 的 体验 。 自 动 化 测试 则 必须 找 一 个 稳定 的 接口 ， 我 们 的 测试 团队 实践 过 的 自动 化 方案 中 ， 没 有 哪 一 种 方案 不 依赖 接口 的 
稳定 性 。 如 果 GUI 或 其 他 用 户 接口 变动 频繁 ， 就 需要 绕 开 GUI 层 ， 尝 试 从 较为 稳定 的 消息 接口 进行 自动 化 测试 。 一 般 产 品 的 GUI 
都 会 随 着 版 本 演进 和 客户 需求 进行 频繁 调整 ， 因 此 也 很 难 见 到 大 量 使 用 GUI 自动 化 且 效 果 很 好 的 产品 。 


选择 了 实现 自动 化 测试 的 特性 范围 ， 确 定 了 自动 化 的 方案 和 接口 ， 对 自动 化 工具 的 功能 需求 基本 上 就 可 以 明确 了 。 自 动 化 设 
计 和 实现 方案 在 满足 这 些 功 能 需求 之 后 ， 为 了 使 得 工具 真正 在 Cl 中 使 用 ， 还 需要 解决 以 下 两 个 问题 : 


1) 适应 环境 变化 。 在 环境 、 配 置 、 数 据 变化 时 ， 保 持 自动 化 用 例 稳 定 执行 、 通 过 率 正 常 。 这 主要 是 由 于 自动 化 用 例 可 能 
于 多 个 场景 ， 比 如 ， 缺 陷 修改 后 ， 开 发 工程 师 进 行 的 功能 验证 ; 代码 提交 时 触发 的 提交 构建 ; 每 日 构建 ; 测试 不 同 软 、 硬 件 平台 
的 兼容 性 等 。 每 个 应 用 场景 的 测试 环境 都 可 能 是 单独 搭建 的 ， 因 此 ， 需 要 自动 化 用 例 能 够 在 不 同 运 行 环境 中 稳定 执行 。 


2) 分 布 式 执行 。 自 动 化 用 例 集 能 够 分 布 式 、 并 行 执行 。 这 主要 是 由 于 有 些 场景 对 用 例 执行 的 时 间 有 要 求 ， 比 如: 提交 构建 


原则 上 应 该 在 10min 之 内 完成 ; 每 日 构建 需要 在 晚间 8h 之 内 完成 。 因 此 ， 需 要 将 自动 化 用 例 集 的 所 有 用 例 分 配 到 多 个 测试 环境 
上 并 行 执行 ， 从 而 缩短 持续 集成 一 次 执行 的 时 间 。 


解决 这 些 适 应 环境 变化 、 分 布 式 执行 的 问题 ， 主 要 从 3 个 方面 入 手 。 


1) 全 局 参数 和 测试 数据 规划 。 要 使 自动 化 用 例 在 Cl 中 使 用 ， 这 是 最 重要 的 问题 。 良 好 的 参数 和 测试 数据 规划 ， 能 够 将 用 例 
与 环境 之 间 、 用 例 与 用 例 之 间隔 离开 来 ， 这 样 自动 化 用 例 就 可 以 顺利 地 从 一 个 测试 环境 迁移 到 另 一 个 环境 ， 从 串 行 调整 为 并 行 执 
行 。 具 体 要 求 是 : 


“ 全 局 参数 规划 。 原 则 上 ， 测 试用 例 中 需要 使 用 到 的 ， 所 有 的 环境 、 产 品 、 特 性 的 配置 数据 ， 都 应 该 设计 为 全 局 参数 。 当 
AW 实 现 、 自 动 化 用 例 实现 的 时 候 ， 用 到 这 些 数据 都 应 该 使 用 相应 的 参数 ; 当 自 动 化 测试 工具 启动 的 时 候 ， 就 应 该 从 被 测试 系统 
中 自动 取得 这 些 全 局 参数 的 取 值 。 这 样 ， 自 动 化 用 例 从 调试 和 测试 的 环境 迁移 到 CI 环境 时 ， 就 不 容易 出 现 意 外 的 执行 不 通过 问 


题 。 
-测试 数据 规划 。 自 动 化 用 例 中 使 用 到 的 角色 、 用 户 、 业 务 等 的 相关 数据 ， 都 应 该 进行 命名 或 区 段 的 规划 ， 比 如 用 特性 的 英 
文 缩 写作 为 用 户 名 的 一 部 分 ;将 某 一 个 区 段 的 数据 用 于 某 个 特性 的 测试 等 。 这 样 ， 在 用 例 并 行 执行 的 时 候 ， 就 不 容易 出 现 因 修改 


条 写 
同一 条 数据 而 导致 的 并 发 冲突 。 


2) AW 设 计 实现 。 要 使 自动 化 用 例 实 现 高 效率 和 稳定 执行 ， 最 重要 的 是 AW 抽 象 程度 合适 、 参 数 设 计 合 理 、 设 计 和 实现 严 
谨 。AW 的 设计 主要 是 依据 测试 执行 时 有 哪些 操作 ， 此 外 需要 注意 几 个 问题 : 


有 国定 顺序 的 操作 序列 尽 可 能 封装 在 一 个 AW 中 ， 一 个 AW 中 尽量 实现 固定 的 操作 序列 。 如 果 一 个 操作 一 个 AW， 会 导致 
AW 太 多 ， 自 动 化 用 例 编写 效率 低 ; 如 果 一 个 AW 中 分 支 操作 太 多 ， 会 给 用 例 的 调试 带 来 困难 。 


.如果 AW 的 参数 很 多 ， 或 者 使 用 结构 体 类 型 作为 参数 ， 则 应 该 有 简化 AW 使 用 的 方式 。 例 如 用 最 常用 的 参数 取 值 构造 AW 模 
板 ， 提 供 AW 参 数 输入 界面 等 ， 让 测试 工程 师 在 编写 自动 化 用 例 时 ， 只 关注 对 这 个 测试 用 例 的 验证 目的 有 影响 的 参数 。 这 样 ， 可 
以 较 大 程度 上 避免 不 同 测 试 工 程 师 编 写 的 自动 化 用 例 无 法 合并 执行 的 问题 。 


AW 不 能 阻塞 自动 化 工具 运行 ， 例 如 AW 从 产品 接收 消息 时 ， 应 该 实现 异步 等 待 ， 这 样 就 不 会 出 现 因 丢失 一 个 消息 导致 整 
个 用 例 集 无 法 执行 的 问题 。 


3) 自动 化 规范 。 为 了 使 得 自动 化 用 例 在 CI 中 正常 执行 ， 用 例 的 实现 必须 遵循 一 些 规则 。 大 部 分 规则 与 自动 化 工具 和 AW 的 
实现 有 关 ， 除 此 以 外 ， 通 常 还 有 以 下 规则 : 


. 全 局 参数 、 测 试 数据 的 使 用 规则 。 这 是 根据 “全 局 参数 和 测试 数据 规划 ”制定 的 规则 。 


* 用 例 隔离 规则 。 这 是 要 求 一 个 自动 化 用 例 的 执行 和 其 他 用 例 完 全 无 关 ， 即 ， 自 动 化 用 例 的 全 部 预 置 条 件 ， 都 在 用 例 启动 执 
行 后 、 正 式 操作 开始 前 准备 ， 不 应 该 是 上 一 个 用 例 的 执行 结果 ; 自动 化 用 例 执行 过 程 中 修改 了 的 全 局 参数 、 产 品 状态 、 产 品 配置 
参数 等 ， 应 该 在 用 例 执行 结束 时 恢复 原 值 ， 避 免 影响 其 他 用 例 执 行 。 


总 的 说 来 ， 目 前 对 自动 化 测试 的 要 求 ， 以 及 为 了 达到 这 些 要 求 在 自动 化 策略 和 方案 上 要 考虑 的 内 容 如 图 7-15 所 示 。 


自动 化 策略 和 方案 

对 自动 化 测试 的 要 求 自动 化 测试 范围 

达到 测试 覆盖 要 求 自动 化 技术 方案 
满足 测试 效率 要 求 方案 选择 (AW、MBT 等 ) 

用 于 多 种 场景 全 局 参数 规划 

用 例 适应 环境 变化 测试 数据 规划 


用 例 集 分 布 式 执行 AW 设 计 实 现 
用 例 隔离 规则 


驱动 接口 


图 7-15 ”自动 化 策略 和 方案 的 内 容 及 其 作用 


7.1.5 ”效率 和 进度 的 风险 是 引入 质量 保障 活动 的 切入 点 


本 节 讨 论 开展 全 流程 质量 保障 活动 ， 可 以 设 定 什么 目标 、 采 用 什么 策略 。 


首先 讨论 目标 的 设 定 。 


名 


保障 质量 是 研发 团队 对 测试 的 “期 望 ” ， 但 全 流程 质量 保障 要 求 在 研发 各 环节 ， 即 开发 、 测 试 、 设 计 ， 都 要 紧密 配合 ， 只 靠 
测试 自己 不 可 能 做 好 ， 以 本 节 开头 提 到 的 问题 为 例 : 


. 邻近 交付 期 限时 续 陷 居 高 不 下 。 原 因 通常 是 缺陷 修改 总 是 带 来 新 缺陷 。 解 决 方法 可 以 是 将 特性 的 自动 化 用 例 加 入 CI， 以 CI 
自动 化 用 例 全 部 通过 作为 开发 正式 提交 代码 的 门槛 要 求 之 一 。 需 要 的 支持 例如 ， 自 动 化 实施 需要 系统 工程 师 和 开发 工程 师 首先 确 
定 接 口 和 数据 模型 ， 使 得 工具 开发 可 以 和 软件 开发 并 行 ; 开发 工程 师 对 提交 构建 的 100% 通 过 率 负 责 。 当 然 ， 这 个 问题 也 可 以 从 
设计 上 着 手 改 进 ， 那 就 不 是 测试 主导 了 。 


* 风险 在 项 目 后 期 集中 爆发 。 原 因 通常 是 缺少 某 些 分 支 场景 和 影响 因素 的 设计 ， 维 护 、 管 理 上 的 能 力 考 虑 不 足 ， 或 者 质量 属 
性 考虑 不 足 。 解 决 方法 可 以 是 多 种 角色 参与 软件 需求 和 设计 ， 测 试 策略 的 评审 ，DFX 测 试 尤其 是 性 能 测试 尽 可 能 提前 。 需 要 的 支 
持 例如 ， 开 发 计划 和 人 员 的 安排 上 落实 评审 的 时 间 和 方式 ; DFX 测 试 需要 的 配套 管理 功能 、 配 置 方案 等 ， 要 和 特性 的 功能 实现 代 
码 同步 就 绪 。 


* 研发 各 环节 的 进度 偏差 逐步 增 大 。 原 因 通 常 是 已 经 完成 的 特性 缺陷 不 收敛 ， 需 求 和 设计 变更 频繁 。 解 决 方法 可 以 是 提高 特 
性 测试 自动 化 率 ， 强 化 风险 识别 和 前 期 评审 。 需 要 的 支持 例如 ， 自 动 化 相关 的 产品 接口 ， 其 设计 方案 尽 可 能 早 定稿 ; 系统 工程 
师 、 开 发 工程 师 和 测试 工程 师 共 同 参与 风险 评估 ; 研发 计划 中 ， 需 求 的 排序 、 人 员 的 安排 等 都 参考 风险 评估 结果 。 


* 客户 验收 周期 长 ， 甚 至 需要 反复 验收 。 原 因 通常 是 项 目 交付 的 特性 不 满足 客户 需求 等 。 解 决 方法 可 以 是 按 特 性 开发 ， 并 且 
在 开发 过 程 中 定期 进行 客户 体验 。 需 要 的 支持 例如 ， 研 发 模式 采用 按 特 性 开发 ; 增加 验收 用 例 作 为 需求 文档 的 一 部 分 ， 输 入 到 合 
同和 研发 过 程 中 。 


可 见 ， 想 要 全 流程 质量 保障 真正 发 挥 作 用 ， 解 决 软件 研发 的 问题 ， 仅 仅 依 靠 测试 团队 自己 是 不 可 能 做 到 的 ， 必 须 有 研发 各 角 
色 的 共同 参与 ， 实 施 跨 团队 的 改进 。 


既然 需要 设计 和 开发 团队 做 出 相应 的 调整 、 投 入 相应 的 工作 量 ， 在 目标 设 定 上 就 需要 : 对 于 期 望 开展 的 每 一 项 工作 ， 找 到 这 
些 工 作 有 助 于 解决 研发 其 他 角色 关注 的 哪些 “ 痛 点 ”? 这 些 痛 点 映射 到 质量 、 效 率 、 成 本 是 哪些 指标 数据 ? 指标 数据 不 理想 的 原 
因 是 什么 ? 开展 的 什么 工作 对 指标 数据 的 改善 有 直接 关系 ? 测试 开展 这 个 工作 需要 什么 支持 和 资源 ? 


在 开展 方法 和 技术 实践 之 前 ， 先 谋划 项 目的 运作 方式 ， 以 解决 “ 痛 点 ”为 目标 ， 从 而 获得 需要 的 支持 。 


从 我 们 的 测试 团队 实施 全 流程 质量 保障 的 经 验 看 ， 当 一 个 团队 想 要 实施 全 流程 质量 保障 时 ， 通 常 面 临 的 最 大 问题 不 是 质量 
(质量 问题 的 解决 ， 参 见 第 4 章 “拦截 缺陷 ”中 所 述 的 那些 方法 ) ， 而 是 进度 和 效率 。 换 名 话说， 虽然 过 程 出 现 了 很 多 问题 ， 但 
是 最 后 总 有 办 法 搞定 项 目 ， 只 是 人 很 票 、 效 率 很 低 轻 了。 因此 ， 用 进度 和 效率 作为 切入 点 ， 使 用 进度 和 效率 相关 的 数据 作为 改进 
目标 ， 会 比较 容易 获得 所 需要 的 资源 和 支持 。 (以 效率 的 名 义 提升 质量 保障 能 力 。 ) 


本 节 开 头 提 到 的 问题 : 邻近 交付 期 限时 缺陷 居 高 不 下 ， 风 险 在 项 目 后 期 集中 爆发 ， 研 发 各 环节 的 进度 偏差 逐步 增 大 ， 项 目 交 
付 的 特性 不 满足 客户 需求 等 。 这 些 问 题 都 是 研发 进度 延迟 、 交 付 效率 降低 的 直接 原因 ， 且 体现 在 项 目 准点 率 、 验 收 测试 周期 等 指 
标 上 。 


其 次 讨论 演进 策略 的 确定 。 


全 流程 质量 保障 需要 测试 在 组 织 、 技 术 、 人 员 方 面 做 比较 多 的 工作 ， 实 施 过 程 耗 时 比较 长 ， 需 要 选择 演进 的 策略 。 


通常 软件 项 目 都 是 带 着 风险 进行 的 ， 比 如 一 个 业务 流程 ， 在 分 析 需 求 的 时 候 就 和 客户 仔细 推荐 ， 经 过 详细 的 论证 ， 细 节 也 全 
部 明确 ， 不 是 做 不 到 ， 而 是 成 本 太 高 、 不 利于 在 机 会 窗 内 完成 产品 交付 。 常 见 的 做 法 是 一 边 继 续 其 他 的 需求 、 设 计 ， 甚 至 编码 、 
测试 工作 ， 一 边 在 继续 和 客户 沟通 需求 ， 明 确 细节 。 这 样 做 的 好 处 是 通过 多 任务 并 行 保障 了 开发 周期 ;坏处 就 是 很 容易 出 现 需 求 
矛盾 、 不 一 致 、 反 复 变 更 等 情况 ， 导 致 项 目 后 期 进度 失控 ， 问 题 和 风险 堆积 。 


在 这 样 的 背景 下 ， 落 实 全 流程 质量 保障 有 两 种 模式 。 


1) “自然 生长 ”模式 。 对 于 这 样 的 项 目 ， 不 建议 在 一 开始 就 全 面 开展 正规 的 全 程 软件 测试 (按照 软件 开发 的 W 流 程 模型 ， 
在 软件 项 目的 初期 即 开始 测试 的 各 项 工作 ) ,这样 可 能 做 得 很 费劲 ， 但 是 收效 其 微 。 可 以 首先 落实 以 下 工作 : 尽早 开展 需求 验 
证 ; 新 代码 快速 、 充 分 验证 ， 老 代码 持续 验证 。 这 些 措施 可 以 帮助 尽早 暴露 风险 并 解决， 以 这 些 风险 为 起 点 ， 表 逐步 推进 全 程 软 
件 测试 中 关于 评审 、 测 试 的 那些 措施 。 这 样 做 的 好 处 是 ， 把 一 个 系统 的 工作 拆 分 成 了 若干 阶段 ， 每 个 阶段 首先 明确 要 解决 的 问 
题 ， 目 标 和 周期 都 比较 明确 。 


2) “ 削 足 适 履 ” 模 式 。 这 是 华为 的 一 个 典故 ， 老 板 认 为 管理 改进 可 以 先生 搬 硬 套 ， 再 逐步 消化 。 我 们 的 产品 研发 ， 由 于 公 
司 对 过 程 规范 有 比较 高 的 要 求 ， 走 的 是 另 一 条 路 : 先 按照 标准 的 W 模 型 (IPD 流 程 ) 实施 全 程 软件 测试 的 各 项 活动 ， 再 进行 改 
进 。 刚 开始 的 时 候 ， 项 目 并 没有 因为 过 程 的 改变 而 按部就班 地 顺利 交付 。 这 是 因为 ， 流 程 不 能 解决 技术 的 问题 ， 如 果 研 发 团队 没 
有 能 力 在 项 目 中 保持 需求 、 设 计 的 稳定 ， 仪 仪 通过 流程 改进 在 每 个 环节 增加 几 个 臭 皮 匠 是 起 不 到 决定 性 作用 的 。 相 反 ， 由 于 既 有 
的 节奏 被 打 乱 ， 反 而 出 现 了 项 目 质量 和 交付 周期 的 同步 恶化 。 尤 其 是 在 IPD 推 行 的 过 程 中 ， 还 在 研发 的 设计 到 测试 阶段 推行 敏捷 
开发 模式 ， 更 是 把 测试 人 员 也 拖 入 了 疲于奔命 的 境地 : 一 方面 研发 前 端的 分 析 、 设 计 需 要 投入 更 多 精力 参与 讨论 和 评审 ; 另 一 方 
面 敏捷 开发 模式 下 ， 持 续 不 断 地 有 新 的 特性 需要 测试 。 测 试 的 工作 严重 碎片 化 ， 导 致 测试 人 员工 作 效率 和 质量 降低 ， 能 力 停滞 不 


> 


月 | 。 


在 经 过 刚 开始 的 阵痛 后 ， 有 一 个 阶段 不 再 追求 “流程 符合 度 ”， 保 留 流程 中 真正 起 到 了 作用 的 活动 ， 或 者 研发 团队 认为 有 方 
法 改进 的 活动 ， 其 他 酌情 裁剪 〈 有 些 活动 做 了 可 以 免责 ， 比 如 需求 阶段 的 验收 用 例 ， 如 果 需 求 不 稳定 ， 用 例 也 不 可 能 稳定 ， 但 是 


为 了 合同 合 规 的 需要 也 必须 做 这 项 工作 ) ， 把 精力 放 在 能 做 好 的 、 能 改进 的 活动 上 。 腾 出 精力 来 逐渐 落实 按 特性 开发 ， 尽 早 开展 
需求 验证 的 测试 策略 ， 落 实 适 应 开发 节奏 需要 的 自动 化 方案 等 。 经 过 一 段 时 间 的 调整 和 适应 ， 才 使 得 项 目 和 团队 在 新 的 流程 下 顺 
利 地 交付 产品 。 


可 见 ， 无 论 是 “自然 生长 ”还 是 “ 削 足 适 履 ” ， 在 全 流程 质量 保障 能 力 建立 的 过 程 中 ， 都 需要 进行 一 些 裁剪 ， 确 定 先 做 什 
么 , 后 做 什么 。 裁剪 活动 的 选择 必须 考虑 收益 和 条 件 的 平衡 ， 如 图 7-16 所 示 。 


问题 影响 大 


缺乏 技术 方法 技术 成 熟 


价值 拓展 区 


问题 影响 小 
图 7-16 ”能 力 建设 策略 选择 
选择 能 力 建设 的 内 容 ， 需 要 从 问题 的 影响 和 技术 成 熟 度 综合 考虑 : 
有 条 件 做 好 且 相 应 的 问题 影响 很 严重 的 ， 当 然 是 首先 去 解决 的 ， 但 是 对 于 成 熟 的 团队 ， 这 种 情况 很 少 (改进 的 浅水 区 ) 。 


" 问题 影响 比较 明显 但 条 件 不 具备 ， 可 以 作为 专门 项 目 ， 联 合 利益 相干 人 共同 解决 ， 最 典型 的 是 诸如 需求 稳定 性 、 验 收 通 过 
率 这 样 的 问题 ， 对 很 多 团队 来 说 都 是 顽疾， 也 最 值得 多 角色 组 成 联合 团队 解决 。 比 如 ， 在 需求 改进 项 目 中 ,测试 最 常见 的 贡献 是 
通过 对 测试 问题 和 网 上 问题 的 分 析 ， 提 取 需 求 分 析 和 测试 设计 的 影响 因子 ， 作 为 分 析 、 设 计 、 测 试 活动 的 参考 输入 。 在 验收 测试 
改进 项 目 中 ， 整 理 既 有 的 特性 应 用 场景 及 其 对 应 的 常见 问题 ， 作 为 后 续 验收 执行 的 参考 ; 或 者 将 验收 测试 用 例 纳入 合同 ， 作 为 需 
求 的 交付 标准 之 一 ， 减 少 验 收 测试 执行 过 程 中 的 分 歧 ( 改 进 的 攻坚 区 ) 。 


: 有 技术 条 件 做 好 但 相应 的 问题 影响 不 大 的 ， 建 议 重点 考虑 相关 技术 是 否 可 以 用 于 其 他 场景 ， 产 生 其 他 的 附加 值 ， 从 而 帮助 
解决 重要 问题 。 测 试 最 常见 的 、 值 得 进一步 挖掘 价值 的 是 工具 和 自动 化 。 比 如 ， 自 动 化 工具 最 直接 的 价值 是 ， 执 行 回归 测试 自动 
化 用 例 ， 发 现 缺 陷 。 但 是 自动 化 测试 最 主要 的 作用 是 “证 明 没 有 问题 ”， 一 次 构建 最 多 发 现 一 两 个 缺陷 ， 对 质量 的 影响 是 很 小 
的 。 但 是 也 有 测试 国 队 把 自动 化 工具 进行 易 用 性 改造 后 ， 用 于 调研 客户 的 现 有 接口 和 业务 流程 ， 进 而 改善 需求 质量 ， 这 个 价值 就 
比较 大 了 (真正 应 该 重点 考虑 的 区 域 ) 。 


“ 既 没有 条 件 做 ， 也 没有 必要 做 的 ， 当 然 就 可 以 放心 裁剪 了 。 


总 之 ,测试 在 “全 流程 质量 保障 ”上 的 价值 ， 并 非 是 纯粹 关于 质量 的 ， 而 是 “高 效 地 获得 更 好 的 产品 质量 ”。 为 了 这 个 价值 
的 实现 而 开展 的 测试 改进 活动 ， 其 项 目 目标 通常 也 是 对 某 个 效率 指标 的 改善 。 当 然 ， 同 样 的 目标 ， 也 有 不 同 的 达成 途径 ， 在 选择 


具体 的 措施 和 技术 方案 时 ， 需 要 综合 技术 成 熟 度 和 对 问题 解决 的 贡献 两 个 方面 来 进行 决策 。 
7.1.6 ”全 流程 质量 保障 的 能 力 模型 


全 流程 质量 保障 的 实现 ， 是 围绕 着 进度 和 效率 风险 的 发 现 、 解 决 来 逐步 推进 的 。 尽 早 开 展 需求 验证 、 新 代码 快速 充分 验证 、 
老 代 码 持续 验证 ， 这 些 都 是 暴露 风险 的 方法 ， 同 时 也 是 初步 控制 风险 的 方法 ， 而 全 程 软件 测试 则 是 全 流程 质量 保障 的 目标 方案 。 


这 个 目标 方案 很 重要 ， 如 果 测 试 工程 师 只 满足 于 在 最 后 的 动态 测试 中 发 现 缺陷 ， 那 么 很 快 就 会 陷入 不 断 增 加 用 例 ， 不 断 被 寄 
予 发 现 更 多 变态 缺陷 的 怪圈 ， 最 终 导 致 测试 工作 量 超载 。 这 个 目标 方案 帮助 测试 工程 师 思考 ， 如 何 有 效 地 将 测试 的 负载 分 散 到 研 
发 的 各 个 环节 ， 如 何 使 研发 过 程 不 断 释 放风 险 ， 从 而 避免 全 部 风险 都 堆积 到 产品 发 布 之 前 。 


实现 全 流程 质量 保障 所 需 的 能 力 ， 如 图 7-17 所 示 。 基 础 是 拦截 缺陷 、 测 试 过 程 可 挖 方面 的 测试 能 力 ， 以 及 按 特性 开发 的 研 
发 能 力 。 在 具备 了 基础 的 测试 能 力 之 后 ， 结 合 软件 工程 、 产 品 方面 的 相关 知识 ， 在 测试 分 析 和 设计 、 工 具 和 自动 化 方面 做 深 、 做 
强 。 最 终 做 到 在 整个 研发 过 程 中 ， 随 时 将 产品 质量 约束 在 可 控 范 围 内 ， 防 止 出 现 质量 劣化 。 


测试 分 析 [有 具 和 
和 设计 自动 化 


拦 载 缺 陷 测试 过 程 可 控 


图 7-17 ”全 流程 质量 保障 的 能 力 要 求 


全 流程 质量 保障 的 4 个 主要 手段 ， 在 软件 工程 和 产品 知识 、 测 试 分 析 和 设计 ， 以 及 工具 和 自动 化 上 的 具体 能 力 要 求 ， 如 表 7- 
5 所 示 。 


表 7-5 ”全 流程 质量 保障 的 关键 测试 能 力 要 求 


测试 分 析 和 设计 工具 和 自动 化 jr 品 软件 工程 


熟悉 产品 的 架构 、 
熟练 应 用 测试 分 设计 、 质 量 、 用 户 
析 、 设 计 、 建 模 方法 场景 。 
E 富 的 产品 领域 知识 
尽早 开展 需 非常 强 的 工具 开发 按 特性 进行 研发 的 
求 验 证 能 力 计划 和 管理 
熟悉 产品 的 架构 、 
设计 、 质 量 、 用 户 场 


景 (识别 变更 风险 ) 


全 程 软件 测试 


新 代码 快速 、 对 特性 需求 进行 测 很 强 的 工具 开发 能 
充分 验证 试 建 模 力 ， 环 境 管 理 能 力 


自动 化 方案 成 熟 ， 
能 高 效 实现 测试 用 例 
自动 化 。 

CI 成 熟 应 用 ， 自 动 
化 用 例 随 时 可 加 入 CI 


CI 通过 是 开发 提交 
新 代码 的 必要 条 件 


老 代码 持续 


验证 


7.2 ”客户 视角 的 质量 评估 
产品 发 布 之 前 ， 研 发 团队 对 产品 质量 的 判断 ， 是 基于 测试 给 出 的 各 种 数据 和 结论 。 产 品 发 布 之 后 ， 研 发 团队 根据 暴露 的 网 上 
间 题 ， 以 及 客户 实际 使 用 后 给 出 的 质量 评价 ， 对 产品 的 质量 认 知 做 出 修正 。 


如 果 测 试 给 出 的 结论 (如 ， 遗 留 缺陷 的 影响 和 规避 措施 、 性 能 和 其 他 DFX 指 标 ) 与 客户 给 出 的 质量 评价 一 致 ， 那 么 研发 团队 
就 会 信任 测试 团队 的 结论 。 否 则 ， 就 会 觉得 测试 的 工作 没有 做 好 。 


在 很 多 测试 团队 中 ， 测 试 的 依据 是 系统 工程 师 加 工 过 的 需求 ， 甚 至 只 依据 设计 规格 进行 测试 ， 客 户 需 求 、 客 户 想 要 解决 的 问 
题 、 客 户 的 应 用 场景 根本 没有 落 在 测试 的 依据 范围 之 内 ， 这 种 情况 下 ， 很 容易 就 会 出 现 测试 结论 和 客户 评价 不 一 致 的 情况 。 


因此 ， 需 要 有 基于 需求 的 测试 ， 并 且 在 这 些 测试 中 尽 可 能 模拟 客户 使 用 产品 的 各 种 条 件 ， 使 得 测试 结论 和 客户 评价 接近 或 一 
致 ， 这 就 是 客户 视角 的 质量 评估 。 


【价值 体现 】 
客户 视角 的 质量 评价 的 价值 在 于 : 使 产品 团队 对 产品 质量 有 准确 的 认 知 。 


可 以 解决 的 典型 问题 ， 如 ， 产 品 的 测试 结果 和 客户 对 质量 的 感知 存在 很 大 偏差 ， 产 品 在 客户 验收 中 发 现 的 问题 缺乏 预案 ， 在 
项 目 关 键 节 点 的 决策 缺乏 质量 方面 的 依据 ， 对 产品 规划 的 决策 缺乏 数据 支撑 等 。 


【核心 工作 】 


在 第 5 章 “提供 数据 ”中 介绍 过 ， 测 试 需要 进行 研发 过 程 和 产品 质量 两 方面 的 评估 ， 客 户 视 角 的 质量 评估 也 同样 包含 这 两 个 
方面 : 
“ 过 程 质量 评估 。 通 过 研发 过 程 数据 ， 预 测 交 付 进度 偏差 、 产 品 交付 给 客户 后 的 遗漏 问题 数量 等 。 评 估 的 主要 作用 是 ， 帮 助 
研发 团队 做 出 相应 的 人 员 和 时 间 安 排 。 


* 产品 质量 评估 。 通 过 测试 执行 结果 给 出 产品 质量 评价 、 产 品 指标 实测 结果 。 这 是 客户 视角 质量 评估 的 主要 内 容 。 


除了 对 产品 进行 质量 评估 ， 有 时 还 会 将 产品 和 况 品 (市 场 上 的 同类 产品 ) 进行 对 比分 析 和 测试 ， 这 就 是 况 品 分 析 。 当 产品 的 
某 些 特性 、 指 标的 需求 不 明确 时 ， 竞 品 分 析 可 以 提供 一 个 评估 的 参考 依据 。 


【方法 和 工具 简 述 】 


如 果 说 “全 流程 质量 保障 ”算是 一 个 正 向 的 手段 ， 那 么 “客户 视角 的 质量 评估 ”就 是 一 个 逆向 的 手段 。 全 流程 质量 保障 的 思 
路 是 ， 测 试 团队 深度 参与 整个 研发 的 各 个 环节 ， 在 过 程 中 进行 质量 控制 。 客 户 视角 的 质量 评估 的 思路 是 ， 项 目 和 产品 的 重要 决策 
是 基于 测试 给 出 的 质量 评估 结果 做 出 的 ， 通 过 质量 评估 推动 研发 各 角色 支持 质量 保障 的 各 项 工作 ， 避 免 测 试 唱 独 角 戏 。 


这 里 的 客户 视角 的 质量 评 佑 与 第 4 章 “提供 数 据 ” 中 的 质量 评估 ， 在 数据 项 的 定义 方面 是 一 致 的， 在 项 目 过 程 上 ， 都 是 使 用 
计划 执行 、 缺 陷 、 工 作 量 、 履 盖 相 关 的 数据 ; 在 产品 质量 结果 上 都 是 缺陷 分 析 结果 和 性 能 等 DFX 指 标 。 二 者 的 区 别 在 于 ， 常 规 的 
质量 评估 ， 是 依据 特性 的 设计 方案 、 研 发 的 计划 ， 判 断 这 些 数据 是 否 符合 要 求 ， 数 据 的 使 用 完全 是 研发 内 部 的 事情 。 客 户 视角 的 
质量 评估 ， 把 重点 放 在 让 测试 的 数据 和 结论 被 客户 认可 和 信任 ， 然 后 再 自 外 向 内 通过 测试 结果 影响 项 目 走向 、 帮 助 完善 交付 方 
案 。 最 终 做 到 客户 验收 一 次 性 通过 或 者 只 遗留 个 别 缺陷 。 在 性 能 、 可 靠 性 等 方面 ， 客 户 认可 研发 团队 的 测试 方法 和 测试 结果 ， 甚 
至 直接 将 研发 测试 结果 作为 验收 结果 使 用 。 


需要 注意 的 是 ， 对 项 目 型 的 产品 ， 客 户 视角 的 质量 评估 是 可 以 拓展 的 价值 之 一 。 对 于 时 下 最 多 的 互联 网 公司 ， 由 于 产品 是 
运营 的 ， 不 建议 测试 追求 全 面 的 质量 评估 ， 可 以 考虑 把 重点 放 在 用 户 体验 的 评估 以 及 竞 品 分 析 上 。 使 用 用 户 真 实体 验 结果 ， 以 及 
和 竞 品 的 对 比 结果 ， 影 响 项 目 和 产品 的 决策 会 比较 有 效 。 


7.2.1 ”客户 视角 的 过 程 质量 评估 
过 程 质量 评估 采用 的 数据 ， 参 见 4.3.2 节 “测试 项 目 过 程 数 据 ” 中 的 内 容 。 总 体 上 包括 : 计划 执行 、 缺 陷 、 工 作 量 、 覆 盖 相 
关 等 的 数据 。 


目前 这 些 数据 主要 用 来 提示 过 程 风险 ， 想 要 通过 这 些 数 据 来 进行 客户 视角 的 过 程 质量 评估 : 预测 产品 到 了 客户 那里 还 会 有 多 
少 缺 陷 ， 质 量 表现 会 怎么 样 ， 项 目 进 度 会 有 多 大 程度 的 延期 。 这 方面 目前 有 学 术 方 面 的 研究 ， 工 程 方 面 没有 见 到 适用 范围 比较 广 
的 方法 和 成 功 实践 。 有 一 些 专家 提出 了 大 数据 的 思路 ， 寻 找 计 划 偏 差 率 、 需 求 和 设计 变更 次 数 、 缺 陷 趋势 等 过 程 数据 和 产品 遗留 
缺陷 、 进 度 偏差 的 相关 性 等 ， 这 可 能 是 未 来 利用 项 目 过 程 数据 的 思路 之 一 。 


7.2.2 ”客户 视角 的 产品 质量 评估 


客户 视角 的 产品 质量 评估 ， 其 维度 和 指标 项 参见 4.1 节 “测试 结果 数据 ”中 列 出 的 内 容 。 


产品 质量 评估 有 一 个 很 常见 的 问题 ， 即 评估 结果 和 产品 使 用 后 的 真实 表现 不 一 致 。 测 试 结果 显 示 性 能 已 经 达标 ， 但 是 客户 刚 
刚 迁移 了 三 分 之 一 ， 就 发 生 了 用 户 业 务 请 求 大 面积 超时 ; 测试 结果 显示 可 靠 性 特性 能 够 保证 业务 不 中 断 、 数 据 不 丢失 ， 但 客户 就 
做 了 拔 插 硬 盘 操 作 ， 业 务 就 有 好 几 分 钟 恢复 不 了 。 


在 我 的 经 验 中 ， 性 能 、 可 服务 性 、 可 靠 性 、 易 用 性 方面 出 现 指标 的 测试 结果 和 真实 表现 不 一 致 ， 这 是 比较 常见 的 。 功 能 性 方 
面 的 主要 问题 ， 是 不 满足 客户 的 应 用 场景 或 业务 场景 的 需要 。 解 决 这 个 问题 ， 除 了 本 章 介绍 的 尽早 开展 需求 验证 的 方法 (参见 
7.1.2 节 “测试 尽早 开展 : 尽早 开展 需求 验证 ”) ， 代 表 客户 测试 (参见 8.1 节 “代表 客户 测试 ”) 也 是 很 有 效 的 解决 方法 。 


测试 结果 和 产品 使 用 后 的 真实 表现 不 一 致 ， 通 常 是 由 于 测试 对 客户 的 网 络 、 设 备 配 置 、 业 务 流程 、 使 用 场景 、 使 用 习惯 不 熟 
悉 ， 导 致 测试 的 环境 、 操 作 方 法 、 测 量 方法 、 判 断 标准 和 产品 的 真实 使 用 有 较 大 差别 。 


推荐 的 做 法 是 在 测试 设计 和 执行 时 ， 将 客户 信息 作为 输入 信息 之 一 。 


客户 信息 的 内 容 范 围 如 图 7-18 所 示 。 


物理 组 网 
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现 有 业务 体验 相关 指标 安全 防护 方案 
容量 业务 领域 专业 术语 
用 户 数据 特征 了 营 操 作 使 用 的 术语 
忙 、 闲 、 高 峰 时 自 业务 管理 使 用 的 术语 
压力 峰值 “有 性 能 IT 系 统 中 使 用 的 其 他 术语 
"| 日 /已 \ 
忙 时 压力 模型 业务 团队 组 织 结构 
ee 组 织 
现 有 业务 性 能 指标 业务 流程 操作 员 角 色 和 职责 
忙 时 各 业务 性 能 占 比 
用 例 
验收 
运营 、 维 护 、 管 理 操作 场景 | 


操作 时 间 和 耗 时 


pr 指标 测试 结果 和 使 用 结果 
党 维护 
质量 “由 _ 验 收 问题 


运营 、 故 障 处 理 、 系 统管 理 流程 
、( 含 人 工 处 理 部 分 ) 在 线 应 用 问题 


图 7- 18 客户 信息 脑 图 
客户 信息 库 至 少 包 括 以 下 内 容 : 


. 环境 相关 的 。 物 理 和 逻辑 组 网 〈 含 设备 、 型 号 ， 网 元 间 连 通关 系 、 接 口 、 协 议 ， 网 络 设备 型 号 、 带 宽 等 ) ; 各 网 元 的 设备 
型 号 和 配置 ; 包含 第 三 方 产品 的 逻辑 组 网 ( 含 连通 关系 、 接 口 、 业 务 码 流 、 协 议 、 带 宽 等 ) ; 安全 防护 方案 等 。 


“ 核心 概念 。 业 务 、 运 营 、 维 护 和 管理 方面 功能 、 术 语 的 概念 及 其 定义 、 特 殊 含义 。 


* 业务 及 体验 相关 的 。 业 务 团队 的 组 织 架构 ， 现 有 业务 流程 和 操作 员 的 角色 及 其 职责 ， 操 作 员 的 IT 知识 背景 ， 与 主要 特性 关 
联 的 业务 流程 ， 运 营 、 维 护 和 管理 操作 的 应 用 场景 等 。 


` 性 能 相关 的 。 容 量 和 数据 模型 ， 忙 闲 时 段 ， 理 论 压 力 峰 值 ， 忙 时 的 压力 模型 ， 主 要 业务 在 现 有 系统 的 性 能 指标 等 。 


.可靠 性 和 可 服务 性 相关 的 。 主 要 运营 、 维 护 和 管理 作业 流程 及 其 操作 时 间 和 耗 时 ; 忙 时 主要 业务 流程 及 各 自 的 比例 (每 个 
业务 流程 占 所 有 业务 请 求 的 比例 ) ; 障 演练 的 模拟 方法 ; 现 有 的 故障 处 理 流程 ( 含 管理 动作 ) 等 。 


:验收 用 例 和 工具 。 验 收 测试 用 例 和 测试 结果 ; 性 能 、 功 能 测试 相关 的 工具 。 
“ 主要 路 标 版 本 的 历史 数据 。 产 品质 量 指标 的 测试 结果 和 真实 使 用 结果 ; 客户 验收 、 使 用 中 发 现 的 缺陷 等 。 


户 信息 将 帮助 测试 工程 师 实现 : 搭建 与 产 环境 接近 或 一 致 的 测试 环境 ， 设 计 、 执 行 与 用 户 实际 使 用 相 一 致 的 测 


k 窜 
最 终 得 到 可 信 的 质量 评估 结论 。 


试用 例 ， 


测试 设计 、 指 标 设 计 : 输入 多 样 化 。 


大 多 数 产 品 在 进行 特性 的 应 用 场景 、DFX 指 标的 测试 设计 时 ， 依 据 的 是 需求 规格 说 明 书 、 设 计 规格 说 明 书 ， 有 些 还 会 参考 合 
同 ， 以 及 用 户 需求 (合同 附件 之 一 ) 。 


这 当然 是 没 错 的 ， 测 试 设计 肯定 是 以 合同 、 需 求 规格 、 设 计 规 格 为 主要 依据 ， 但 在 很 多 时 候 ， 哪 怕 严 格 验证 了 合同 中 的 每 一 
条 需求 、 每 一 个 指标 ， 验 收 的 时 候 还 是 会 被 抱怨 出 现 了 功能 不 满足 要 求 、 性 能 不 行 之 类 的 问题 。 


这 主要 是 因为 ， 在 客户 的 团队 中 ， 分 析 需 求 和 拟定 合同 的 人 ， 和 验收 、 使 用 产品 的 人 分 属 不 同 的 团队 。 前 者 通常 是 经 营 或 市 
场 团队 ， 他 们 更 关注 新 系统 将 要 实现 那些 能 力 ;后 者 通常 是 业务 操作 团队 ， 他 们 更 关注 老 业务 在 新 系统 的 表现 。 这 就 导致 测试 所 
依据 的 合同 中 常常 出 现下 列 问题 : 


1) 有 些 现 有 功能 的 使 用 信息 是 不 完整 的 (约束 条 件 、 操 作 入 口 、 上 下 文 、 操 作 结 果 等 ) 。 比 如 操作 以 后 除了 产生 一 条 业务 
记录 ， 还 应 该 有 用 于 操作 回溯 的 日 志 ， 相 应 的 统计 结果 也 要 更 新 。 合 同 中 日 志和 统计 通常 是 作为 独立 的 特性 ， 说 明 记录 原则 ,但 
是 具体 到 某 个 功能 特性 应 该 记 什么 ， 怎 么 记 则 没有 约定 。 而 在 验收 的 时 候 ， 如 果 客 户 发 现 原 系统 中 存在 而 在 新 系统 中 “ 漏 掉 ”的 
记录 ， 则 会 得 出 功能 不 满足 要 求 的 判断 。 


2) 有 些 现 有 业务 的 指标 信息 是 不 完整 的 。 比 如 性 能 指标 通常 只 有 TPS、 用 户 容量 、 同 时 在 线 用 户 数 等 核心 指标 ， 但 操作 耗 
时 、 响 应 时 间 、 同 步 时 延 等 隐 性 要 求 则 没有 明确 。 而 在 验收 的 时 候 ， 这 些 附 加 指标 会 被 客户 直接 感知 并 和 他 自己 的 操作 经 验 对 
比 ， 进 而 得 出 性 能 不 行 的 结论 。 


因此 ， 在 测试 设计 中 ， 不 仅 要 依据 产品 的 合同 、 需 求 和 设计 ， 还 需要 考虑 和 客户 现 有 的 业务 场景 、 衡 量 指标 接轨 ， 如 果 确 实 
需要 改变 客户 现 有 的 习惯 ， 则 需要 借鉴 业界 的 通行 做 法 。 

以 性 能 指标 的 测试 设计 为 例 ， 和 客户 的 衡量 指标 接轨 ， 仅 仅 通 过 需求 调查 是 不 能 完全 解决 问题 的 ， 因 为 客户 的 性 能 指标 定义 
也 只 包含 少数 核心 指标 。 

测试 首先 需要 完善 性 能 指标 的 定义 ， 如 表 7-6 所 示 ， 测 试 结果 中 的 性 能 指标 需要 包含 容量 、 业 务 流程 及 对 应 的 TPS、 在 线 用 
户 数 、 用 户 数据 模型 、 压 力 模型 、 吞 吐 量 、 成 功率 、 平 均 操作 耗 时 、 平 均 响应 延 时 、 数 据 同步 延 时 、 测 试 持 续 时 间 、 系 统 资源 
(如 CPU/ 内 存 /带宽 ) 占用 情况 等 。 


表 7-6 性 能 指标 和 用 户 信息 库 的 对 应 


性 能 指标 测试 设计 依据 客户 信息 库 对 应 信息 


容量 需求 ， 合 同 容量 

业务 流程 及 对 应 的 TPS 需求 ,合同 理论 压力 峰值 ， 忙 时 各 业务 性 能 占 比 
在 线 用 户 数 根据 TPS 计算 

用 户 数 据 模型 需求 ， 合 同 ， 客 户 信 息 库 | 用户 数 据 特征 或 模型 

压力 模型 客户 信息 库 忙 时 的 压力 模型 

在 吐 量 

成 功率 

平均 操作 耗 时 主要 业务 在 现 有 系统 的 性 能 指标 

平均 响应 延 时 经 验 ， 客 户 信息 库 主要 业务 在 现 有 系统 的 性 能 指标 
数据 同步 延 时 经 验 


测试 持续 时 间 


系统 资源 (如 CPU/ 内 存 /带宽 ) 占用 | 经验 


忙 、 闲 、 高 峰 时 段 


在 进行 性 能 测试 之 前 ， 最 好 通过 业务 需求 调研 、 业 务 流程 调研 、 客 户 沟通 、 提 前 体验 等 各 种 活动 ， 得 到 这 些 数据 的 目标 值 或 
者 客户 系统 的 当前 值 。 如 果 部 分 数据 到 产品 交付 还 没有 得 到 确认 ， 就 需要 参考 业界 或 其 他 项 目的 经 验 数据 ， 比 如 一 般 来 说 用 户 操 
作 的 响应 延 时 在 1s 内 ， 最 长 不 超过 3s。 


除了 主要 业务 流程 外 ， 安 装 、 统 计 报表 、 跟 踪 、 审 计 等 运营 、 维 护 和 管理 操作 的 性 能 也 需要 给 予 足 够 的 重视 。 这 些 操作 的 性 
能 缺陷 一 般 有 两 方面 影响 : 一 是 操作 本 身 耗 时 太 长 ， 结 果 不 能 及 时 送 达 至 决策 者 ; 二 是 影响 主要 业务 的 性 能 ， 导 致 业务 系统 性 能 
急剧 降低 。 因 此 ， 这 些 操作 一 旦 有 性 能 缺陷 ， 就 非常 容易 被 感知 、 被 放大 。 无 论 这 些 操作 在 设计 时 是 否 支 持 在 系统 忙 时 运行 ， 都 
建议 在 正常 的 容量 和 压力 背景 下 进行 一 次 测试 ， 如 果 这 时 的 测试 结果 是 不 可 接受 的 ， 那 么 需要 设计 相应 的 应 急 预 案 。 统 计 报表 功 
能 尤其 需要 这 样 的 测试 。 


相 比 DFX 测 试 ， 功 能 测试 信息 补 齐 更 困难 。 推 荐 的 做 法 是 建立 产品 验收 测试 用 例 基线 ， 每 个 验收 测试 用 例 都 包含 操作 过 程 、 
约束 条 件 、 各 种 操作 入 口 、 详 细 操作 结果 等 信息 。 对 于 不 同类 型 的 需求 ， 补 齐 需求 信息 的 方法 也 不 同 : 


` 基本 型 需求 ， 不 同 客户 之 间 差 异 不 大 ， 只 有 少数 细节 存在 差异 。 因 此 ， 可 以 和 性 能 指标 一 样 ， 需 求 调研 的 时 候 尽 可 能 确认 


这 些 细节 信息 。 


. 期 望 型 需求 、 兴 奋 型 需求 ， 不 同 客户 之 间 差 异 点 很 多 ， 有 些 甚至 操作 过 程 都 不 一 样 ， 测 试 基线 能 解决 的 问题 很 有 限 ， 尽 早 
开展 体验 测试 、 特 性 演示 等 活动 ， 或 者 规划 beta 测 试 是 更 值得 尝试 的 方法 。 


测试 环境 : 尽 可 能 模拟 。 


理想 的 情况 下 ， 当 然 是 完全 镜像 客户 的 环境 (包括 设备 、 软 件 、 用 户 ) 进行 系统 测试 ， 这 样 不 仅 测 试 结 果真 实 ， 还 能 最 大 限 
度 地 暴露 并 解决 产品 间 、 功 能 间 配 合 的 错误 。 但 是 这 样 的 成 本 是 非常 高 的 ， 我 了 解 的 公司 中 ， 只 有 思科 不 计 成 本 建立 了 针对 大 客 
户 的 完全 镜像 环境 。 


一 般 情 况 下 ， 测 试 都 只 能 在 模拟 环境 中 进行 。 对 模拟 环境 最 基本 的 要 求 是 ， 保 持 和 客户 的 逻辑 组 网 一 致 。 


做 功能 测试 的 时 候 ， 只 要 接口 关系 是 对 的 ， 组 网 方式 对 测试 结果 的 影响 一 般 不 大 ， 因 此 功能 测试 一 般 不 要 求 模拟 客户 环境 。 


但 是 性 能 、 可 靠 性 、 可 服务 性 测试 中 ， 组 网 对 测试 结果 的 影响 是 很 大 的 ， 比 如 客户 网 络 数据 库 是 单独 节点 ， 但 测试 网 络 中 将 
数据 库 和 业务 安装 在 同一 台 主 机 ， 尽 管 接口 形式 一 样 ， 但 性 能 表现 、 故 障 传导 范围 〈 例 如 ， 网 络 闪 断 无 法 影响 到 业务 节点 和 数据 
库 的 连接 ) 、 维 护 操作 的 影响 〈 例 如， 数据 库 校 验 操作 占用 系统 资源 ， 必 然 影响 业务 性 能 表现 ) 都 是 完全 不 一 样 的 ， 因 此 这 些 
DFX 测 试 要 在 模拟 环境 中 进行 。 


除了 逻辑 组 网 一 致 ， 模 拟 环境 的 设计 还 需要 考虑 如 图 7-19 所 示 的 3 个 问题 。 


1) 业务 节点 的 集群 规模 。 大 型 系统 中 ， 处 理 主要 业务 的 网 元 ， 通 常 采用 集群 方式 来 实现 负载 的 分 担 和 性 能 的 平滑 扩容 。 模 
拟 环境 中 集群 的 节点 数 通 常会 少 于 客户 网 络 的 节点 数 ， 目 标 系统 的 性 能 通过 换算 得 到 ， 最 简单 的 换算 公式 是 : 单 节 点 的 性 能 x 节 
点 数目 = 目标 系统 的 性 能 指标 。 但 是 ， 事 实 上 二 者 之 间 并 非 简单 的 线性 关系 。 首 先 ， 必 须 确 认 负责 集群 各 节点 负载 均衡 的 前 端 设 
备 ， 其 性 能 拐点 在 哪里 ， 集 群 中 节点 数目 、TPS 到 达 哪 个 闪 值 时 ， 这 个 前 端 设备 会 成 为 瓶 英 。 其 次 ， 找 到 集群 节点 的 数目 与 整体 
性 能 的 拟 合 曲线 ， 即 在 阅 值 范围 内 测试 3~5 个 不 同 的 节点 数目 及 其 性 能 指标 ， 然 后 进行 拟 合 。 这 样 ， 由 测试 环境 中 得 到 的 指标 ， 
换算 得 到 的 目标 系统 性 能 指标 才 是 比较 合理 的 。 


图 7-19 仿真 或 模拟 环境 的 设计 


2) 产品 运行 环境 配置 。 产 品 运 行 环 境 指 产品 使 用 的 硬件 、 操 作 系统 、 数 据 库 、 第 三 方 服务 (如 WEB 容 器 ) 等 。 硬 件 环境 受 
限于 成 本 考虑 ， 一 般 不 要 求 和 客户 一 致 ， 但 最 好 是 同系 列 ， 配 置 较 低 的 机 型 ， 这 样 方便 根据 服务 器 的 TPM( 等 指标 将 低 配置 的 性 
能 实测 结果 换算 为 高 配置 的 性 能 推算 结果 。 之 所 以 建议 同系 列 ， 是 因为 不 同 的 品牌 和 系列 ，TPMC 的 测量 也 有 差别 ， 不 具备 很 好 
的 可 比 性 。 软 环境 (操作 系统 、 数 据 库 、 第 三 方 服务 ) 应 该 尽 可 能 和 客户 使 用 的 版 本 一 致 ， 以 免 上 线 应 用 时 出 现 不 适 配 。 如 果 运 
行 环境 的 这 些 条 件 无 法 具备 ， 则 需要 在 产品 开发 的 中 后 期 ， 安 排 一 个 客户 实景 测试 ， 发 现 和 排除 不 适 配 的 问题 。 这 里 有 一 个 前 
提 : 产品 采用 的 是 通用 硬件 ， 如 果 是 定制 硬件 ， 那 么 硬件 环境 也 要 尽 可 能 和 客户 一 致 。 


3) 第 三 方 产品 的 仿真 。 客 户 网 络 中 通常 存在 由 多 个 供应 商 提供 的 产品 ， 产 品 各 自 实 现 不 同 的 功能 ， 通 过 接口 进行 数据 交换 
或 业务 关联 。 在 研发 测试 时 ， 对 第 三 方 产品 一 般 都 是 采用 接口 模拟 方式 实现 。 以 往 ， 测 试 工程 师 都 是 根据 客户 提供 的 接口 文档 来 
开发 第 三 方 接 口 模 拟 工 具 ， 但 常常 遇 到 接口 文档 不 够 详细 、 文 档 和 实现 不 一 致 的 问题 ， 导 致 产品 开发 测试 完成 后 ， 还 要 花 很 长 的 
时 间 与 第 三 方 系统 进行 对 接 。 现 在 ， 测 试 工程 师 是 在 需求 调研 的 时 候 ， 使 用 接口 录制 工具 将 所 有 主要 业务 流程 的 接口 码 流 抓 取 下 


来 ， 结 合 码 流 和 接口 文档 开发 第 三 方 接口 模拟 工具 ， 这 种 方式 从 很 大 程度 上 改善 了 之 前 的 问题 。 当 然 ， 如 果 有 条 件 搭建 真实 的 第 
三 方 设 备用 于 测试 ， 肯 定 是 更 理想 的 。 


这 些 是 对 测试 环境 设计 的 要 求 。 除 此 以 外 ， 为 了 顺利 开展 测试 执行 ， 测 试 还 需要 具备 很 好 的 环境 设备 操作 能 力 ， 尤 其 是 对 于 
解决 方案 测试 团队 ， 至 少 需要 具备 以 下 能 力 : 


. 熟悉 解决 方案 中 所 有 的 设备 和 组 网 方案 的 配置 方法 ， 能 够 按 设 计 要 求 搭 建 和 调试 测试 环境 。 


" 熟悉 解决 方案 用 户 的 典型 端 到 端 使 用 流程 ， 熟 悉 所 有 设备 和 接口 上 跟踪 业务 流程 、 核 查 业 务 数据 、 获 取 业 务 状 态 的 方法 ， 
能 够 在 问题 发 生 时 第 一 时 间 排 除 故 障 或 界定 归属 。 


“ 具备 对 解决 方案 进行 功能 、 性 能 、 可 靠 性 等 质量 属性 进行 验证 、 调 试 、 配 置 优化 的 能 力 。 
用 例 执行 、 指 标 测量 : 高 度 仿真 。 


功能 测试 中 ， 有 时 为 了 测试 效率 的 考虑 ， 或 者 由 于 开发 进度 的 安排 ， 会 把 服务 器 端 和 用 户 界面 端 分 开 测试 ， 测 试 服务 器 端的 
时 候 ， 用 工具 模拟 用 户 界面 。 这 样 做 一 般 也 没有 问题 ， 但 最 好 在 正式 测试 之 前 或 者 测试 完成 后 ， 用 真实 的 设备 ， 对 主要 的 业务 、 
运营 、 维 护 和 管理 操作 的 基本 功能 进行 业务 场景 、 应 用 场景 的 验证 ， 确 认 前 后 台 之 间 、 特 性 之 间 能 够 正常 配合 。 


客户 视角 的 功能 验证 ， 还 可 以 通过 产品 或 特性 的 体验 、 演 示 ， 产 品 beta 测 试 来 进行 。 在 这 些 测试 活 动 中 ， 测 试 工程 师 不 是 
用 例 的 主要 执行 者 ， 主 要 职责 是 确定 测试 范围 、 设 计 业 务 场景 或 应 用 场景 的 测试 用 例 、 活 动 组 织 、 旁 观 记 录 、 结 果 分 析 。 (记录 
和 结果 ， 参 见 4.1.2 节 “测试 结果 数据 的 内 容 ” 中 的 体验 测试 的 结果 数据 ，4.3.4 节 “用 例 执行 过 程 数 据 ” 中 的 体验 测试 的 过 程 数 
据 。) 


] 


性 能 测试 执行 时 ， 遇 到 的 研发 测试 结果 与 客户 验收 结果 不 一 致 的 问题 ， 通 常 是 由 于 测试 的 业务 流程 、 背 景 容 
不 同 导致 的 。 因 此 ， 性 能 测试 中 关注 的 重点 主要 是 : 加 载 需要 的 容量 和 压力 ， 采 集 业务 处 理 的 主要 性 能 数据 ( 容 
对 应 的 TPS、 在 线 用 户 数 、 用 户 数据 模型 、 香 吐 量 、 成 功率 、 平 均 操作 耗 时 、 平 均 响 应 延 时 等 ) 。 


、 数 据 模型 等 


、 业 务 流程 及 


让 


] 


本 
粘 m 。 本 


此 外 ， 客 户 验收 和 使 用 中 常常 会 在 一 些 细节 上 发 现 问题 ， 例 如 : 


1) 压力 模型 、 测 试 持续 时 间 。 在 性 能 方面 ， 除 了 指标 ， 一 些 专业 的 客户 会 验收 产品 长 时 间 运 行 的 稳定 性 。 理 想 情况 下 ， 最 
好 是 对 平稳 、 线 性 增 大 、 拌 动 、 浪 涌 等 各 种 压力 模型 ， 都 进行 72h 以 上 的 长 时 间 稳 定性 测试 ， 这 样 可 以 暴露 一 些 导致 微小 泄露 或 
阻塞 的 缺陷 。 当 然 ， 这 样 做 是 很 耗 时 间 的 ， 一 般 做 法 是 调查 客户 会 用 什么 模型 ， 测 试 多 长 时 间 ， 用 与 客户 一 致 的 方式 进行 测试 ， 
并 在 整个 测试 执行 过 程 中 对 资源 占用 、 处 理 延 时 、 数 据 规 模 、 数 据 一 致 性 等 进行 监测 。 


2) 业务 处 理性 能 数据 。 性 能 数据 关注 的 重点 通常 是 处 理 能 力 、 容 量 、 响 应 延 时 等 ， 容 易 忽 略 一 些 比较 “次 要 ”的 数据 ， 例 
如 : 


的 、 与 运营 和 维护 相关 的 数据 处 理 。 验 收 测试 时 ， 客 户 会 检查 这 些 后 台 产 生 的 数据 与 触发 的 业务 流程 的 一 致 性 。 严 格 说 来 ， 每 个 
劝 能 和 DEFX 测 试用 例 测 试 完 成 后 ， 都 应 该 采集 和 检查 这 些 数据 ， 但 这 样 做 工作 量 巨大 不 可 能 实现 ， 一 般 建 议 只 在 性 能 测试 中 采集 
和 检查 这 些 数据 。 如 果 数 据 同步 延 时 超过 秒 级 ， 那 么 很 可 能 一 个 性 能 用 例 执行 完成 后 ， 立 即 进行 检查 就 会 出 现 数据 不 一 致 ， 如 果 
在 验收 测试 中 ， 就 可 能 认为 发 现 了 问题 ， 但 是 ， 事 实 上 并 非 存在 数据 不 一 致 的 缺陷 。 因 此 在 掌握 了 数据 同步 延 时 的 实测 值 后 ， 一 
方面 需要 确认 延 时 是 否 满足 设计 规格 ; 另 一 方面 需要 对 相关 的 验收 测试 用 例 做 备注 ， 说 明 检 查 数据 一 致 性 的 操作 需要 等 多 长 时 间 
以 后 再 做 。 


: 临时 数据 规模 。 业 务 处 理 一 般 都 会 产生 一 些 临 时 记录 、 临 时 表 、 临 时 文件 ， 尤 其 是 涉及 大 量 计算 或 者 数据 转换 的 特性 ， 临 


时 数据 规模 还 可 能 比较 大 ， 如 果 业 务 处 理 完成 后 ， 临 时 数据 不 及 时 清理 ， 就 会 影响 产品 对 系统 的 资源 占用 ， 进 而 影响 产品 长 时 间 
因 


稳定 运行 。 因 此 ， 测 试 过 程 中 需要 把 临时 数据 规模 纳入 监测 范围 ， 防 止 临时 数据 规模 不 断 膨胀 的 缺陷 。 


3) 系统 资源 (如 CPU/ 内 存 / 带 宽 / 能 耗 ) 占用 情况 。 有 经 验 的 客户 通常 都 会 关注 这 些 数据 ， 如 果 占 用 过 高 (比如 超过 
50%) ， 或 者 波动 太 大 (压力 不 变 的 情况 下 ， 波 动 超过 30%) 都 会 认为 有 问题 。 

4) 客户 端 、 服 务 端 采集 的 数据 ， 与 用 户 数据 、 业 务 处 理 数据 、 统 计 、 报 表 的 一 致 性 。 在 一 个 性 能 用 例 执行 完成 后 ， 需 要 对 
比 从 客户 端 、 服 务 器 端 、 各 个 网 元 的 统计 报表 采集 到 的 数据 ;数据 库 中 用 户 和 业务 表 的 数据 变化 ; 报表 统计 到 的 数据 。 这 些 不 同 
维度 的 数据 要 能 够 相互 应 证 ， 差 异 需要 有 解释 。 客 户 的 经 营 团队 会 比较 天 注 数据 的 一 致 性 ， 以 免 错 误 的 数据 引导 了 错误 的 决策 ， 
如 果 在 验收 测试 中 出 现 了 比较 大 的 数据 差异 ， 则 极 可 能 引发 客户 对 产品 的 不 信任 。 


因此 ， 性 能 测试 执行 中 ， 需 要 关注 的 要 素 如 图 7-20 所 示 。 
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波动 、 分 布 、 趋 势 、 拐 点 分 析 
图 7-20 性 能 测试 执行 需 关注 的 要 素 


最 后 ， 可 能 的 话 ， 分 析 测 试 结果 和 真实 使 用 结果 之 间 的 关系 ， 有 时候 二 者 之 间 存 在 能 够 拟 合 的 比例 关系 ， 这 个 比例 可 以 用 于 
指标 值 测试 结果 的 修正 ， 帮 助 测试 给 出 更 接近 实景 的 质量 评估 结论 。 


可 服务 性 、 可 靠 性 测试 执行 时 ， 遇 到 的 研发 测试 结果 与 客户 验收 结果 不 一 致 的 问题 ， 通 常 是 由 于 环境 、 操 作 方 法 、 观 察 点 的 
不 同 导 致 的， 客户 进行 可 服务 性 、 可 靠 性 测试 常常 和 研发 测试 有 了 明显 不 同 ， 主 要 表现 为 以 下 3 个 方面 。 


. 在 正常 压力 、 容 量 下 执行 测试 。 在 和 运营、 维护、 管理、 故障 模拟 的 测试 时 ， 测 试 环境 常常 是 “ 空 载 ”的 ， 没 有 或 只 有 极 少 
的 基础 数据 和 背景 业务 流量 。 但 客户 验收 测试 通常 是 会 装载 标 称 容量 的 数据 ， 并 在 平时 的 性 能 压力 下 进行 ， 有 时 其 至 是 直接 在 进 
行 性 能 测试 的 同时 进行 可 服务 性 和 可 靠 性 的 测试 。 客 户 这 样 做， 是 因为 产品 的 运营 、 维 护 、 管 理 、 故 障 处 理 的 真实 应 用 场景 就 是 
如 此 。 因 此 可 服务 性 、 可 人 靠 性 测试 需要 在 正常 压力 和 容量 的 背景 下 执行 。 当 然 ， 全 部 用 例 都 在 正常 压力 、 容 量 下 执行 是 不 现实 
的 ， 测 试 的 时 间 和 设备 成 本 都 太 高 ， 但 基础 的 测试 用 例 应 该 是 在 这 样 的 条 件 下 测试 的 。 


.可靠 性 测试 的 故障 构造 尽 可 能 真实 。 本 章 开 始 时 提 到 的 拔 插 硬 盘 的 问题 ， 就 是 我 们 产品 的 真实 案例 。 在 研发 测试 中 为 了 避 
免 热 插 拔 带 来 的 硬件 损伤 ， 都 是 使 用 操作 系统 命令 屏蔽 掉 一 块 盘 ， 但 事实 证 明 热 插 拔 和 命令 屏蔽 对 业务 的 影响 是 不 同 的 。 由 于 构 
造 真实 故障 的 成 本 很 高 ， 可 以 在 已 经 正常 使 用 的 基础 版 本 上 进行 测试 ， 之 后 没有 大 的 机 制 变更 就 不 再 测试 了 。 


" 以 业务 性 能 表现 作为 用 例 是 否 通过 的 标准 。 在 研发 的 可 服务 性 、 可 靠 性 测试 时 ， 通 常 是 以 操作 返回 结果 、 操 作 执 行 的 结 
数据 作为 用 例 通过 与 和 否 的 判断 标准 ， 而 忽略 了 测试 过 程 中 对 系统 和 业务 的 影响 。 故 障 模拟 测试 中 ， 应 该 以 业务 性 能 、 系 统 资源 均 
恢复 平稳 为 标准 ， 来 计算 故障 的 恢复 时 长 。 除 此 以 外 ， 可 服务 性 、 可 人 靠 性 测试 中 ， 用 例 通过 条 件 应 该 包括 : 背景 业务 流程 成 功 
率 、 平 均 操 作 耗 时 、 平 均 响 应 延 时 、 数 据 同步 延 时 、 系 统 资源 (如 CPU/ 内存/ 带宽) 没有 异常 波动 ， 静 默 用 户 〈 有 连接 无 操作 的 
用 户 ) 没有 无 故 掉 线 ， 各 统计 报表 数据 之 间 没 有 明显 不 一 致 等 。 


因此 ， 可 靠 性 测试 执行 中 ， 需 要 关注 的 要 素 如 图 7-21 所 示 。 
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图 7-21 可 靠 性 测试 执行 需 关注 的 要 素 


易 用 性 。 对 易 用 性 的 评估 并 没有 完整 、 客 观 的 方法 ， 除 了 任务 完成 率 、 页 面 数 、 求 助 次 数 等 数据 (参见 4.1.2 节 “测试 结果 
数据 的 内 容 ”) 外 ， 易 用 性 或 体验 的 测试 更 多 的 还 是 依靠 “人 ”对 同类 或 相关 产品 的 使 用 经 验 。 因 此 ， 产 品 测试 团队 并 非 体验 测 
试 执行 的 最 佳人 选 ， 客 户 、 用 户 、 产 品 经 理 、 需 求 工程 师 、 研 发 团队 以 外 的 人 可 能 是 更 好 的 人 选 。 


产品 测试 团队 在 体验 测试 中 更 多 的 是 策划 测试 活动 、 设 计 体 验 任务 、 提 供 环境 保障 、 观 察 和 记录 数据 。 


体验 测试 完成 后 ， 除 了 输出 体验 相关 指标 的 评 佑 结果， 测试 还 可 以 给 出 产品 与 客户 的 现 有 系统 在 概念 和 使 用 方面 的 差异 。 这 
些 差 异体 现在 业务 流程 、 功 能 定义 、 专 业 术 语 、 用 户 表 及 其 字段 、 报 表 和 统计 项 等 方面 。 这 些 差异 会 带 来 学 习 成 本 ， 因 而 也 是 改 
进 客户 体验 的 重要 参考 信息 。 


测试 工具 。 测 试 使 用 的 工具 与 客户 使 用 的 不 要 存在 原理 上 的 不 同 。 


更 进一步 ， 测 试 可 以 主动 和 客户 沟通 测试 方法 、 测 试 工具 的 原理 ， 将 研发 内 部 测试 的 工具 变 成 验收 交付 时 的 工具 。 最 理想 的 
情况 是 ， 客 户 对 自动 化 测试 、 性 能 测试 的 方法 充分 信任 。 项 目 交 付 时 ， 只 需要 把 自动 化 和 性 能 测试 环境 在 客户 那里 搭建 起 来 ， 把 
准备 好 的 用 例 自 动 化 跑 一 遍 ， 验 收 就 通过 了 ， 这 无 疑 是 效率 极 高 的 方式 。 


当然 ， 这 需要 了 解 客户 认可 的 商用 工具 是 什么 ， 研 发 内 部 测试 的 工具 也 能 够 和 这 些 商 用 工具 媲美 。 如 果 这 个 条 件 成 立 ， 可 以 
向 客户 展示 商用 工具 和 内 部 测试 工具 在 工作 原理 、 实 现 方案 和 特点 、 数 据 采集 和 展示 方式 、 产 品 实测 值 等 的 对 比 结果 ， 使 客户 认 
可 研发 工具 测试 结果 。 


如 果 做 到 了 让 客户 信任 研发 测试 的 测试 结果 、 甚 至 测试 工具 ， 那 么 这 些 数据 无 疑 也 会 受到 研发 团队 的 充分 重视 ， 用 测试 结果 
来 进行 项 目 和 产品 的 决策 也 就 顺理成章 了 。 


总 之 ， 想 要 知道 “客户 对 产品 质量 怎样 评价 ”， 有 两 个 途径 : 

一 个 途径 是 在 正式 交付 前 就 让 客户 接触 产品 ， 直 接 得 到 客户 的 评价 ， 这 就 是 体验 测试 、 特 性 演示 ， 或 者 beta 测 试 的 目的 。 
由 于 客户 不 可 能 伦 太 多 时 间 在 这 些 产 品 测试 活动 上 ， 因 此 ， 通 常 只 能 针对 重要 的 期 望 型 需求 和 兴奋 型 需求 ， 采 用 这 个 方式 获得 最 
直接 的 客户 评价 。 

另 一 个 途径 是 提高 测试 的 仿真 程度 ， 使 测试 得 出 的 结论 与 客户 评价 接近 或 一 致 ， 这 就 是 本 节 的 主要 内 容 。 在 测试 设计 、 环 境 
搭建 、 测 试 执行 中 ， 除 了 依据 需求 规格 和 设计 规格 ， 还 利用 客户 信息 库 中 积累 的 经 验 信息 提高 测试 的 仿真 度 ， 如 图 7-22 所 示 。 
通过 得 到 与 客户 评价 一 致 的 评估 结论 ， 使 测试 取信 于 研发 团队 、 取 信 于 客户 。 
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图 7-22 ”利用 客户 信息 提高 测试 仿真 程度 


最 后 ， 需 要 注意 的 是 ， 本 节 介绍 的 客户 信息 库 的 内 容 ， 性 能 指标 完整 定义 所 需 的 信息 ， 模 拟 环境 的 设计 要 点 ， 性 能 、 可 靠 
性 、 可 服务 性 验收 的 常见 问题 ， 这 些 都 是 在 我 们 产品 的 测试 工作 中 总 结 出 来 的 ， 虽 然 有 一 定 的 普遍 性 ， 但 不 同 产品 无 法 直接 套 
用 ， 需 要 在 产品 的 交付 过 程 中 ， 以 客户 问题 分 析 为 出 发 点 ， 搜 集 、 人 分析、 整理 所 需 的 信息 。 


7.2.3” 竞 品 分 析 

测试 开展 况 品 分 析 ， 是 从 功能 、 体 验 和 性 能 等 方面 ， 对 自 研 产品 和 竞 品 (市 场 上 的 同类 产品 ) 进行 同 条 件 下 的 对 比 测试 ， 找 
到 自 研 产品 和 况 品 的 差异 、 比 较 优势 和 比较 劣势 等 。 

竞 品 分 析 会 较 多 采用 探索 测试 的 方式 ， 分 析 过 程 如 下 : 

1) 探索 范围 确定 。 自 研 产 品 的 特性 全 集 、 业 务 流程 、 性 能 和 其 他 DFX 指 标 是 线索 之 一 ; 竞 品 的 产品 资料 以 及 探索 式 测试 
(漫游 ) 得 到 的 特性 全 集 、 业 务 流程 、 性 能 和 其 他 DFX 指 标 是 线索 之 二 。 两 条 线索 共同 组 成 探索 范围 ( 即 测试 范围 ) 。 

2) 功能 差异 分 析 。 对 测试 范围 内 的 同样 或 相似 的 特性 和 业务 流程 ， 使 用 指南 、 卖 点 、 快 递 、 遍 历 等 探索 方法 (探索 方法 可 
参考 《探索 式 软 件 测试 》 一 书 ， 作 者 james A.Whittaker) ， 对 比 自 研 产 品 和 竞 品 的 功能 差异 。 


3) DFX 对 比分 析 。 对 主要 的 业务 流程 指标 兼容 性 、 支 持 的 制式 、 满 足 的 标准 和 规范 等 进行 对 比 实 测 。 


竞 品 测试 的 目的 在 于 ， 找 到 自 研 产 品 和 竞 品 的 差异 ， 进 而 影响 项 目 走向 ， 帮 助 完善 产品 。 差 异 属 于 不 同类 型 的 特性 或 需求 ， 
处 理 方式 也 不 一 样 。 


` 基本 型 需求 (产品 “必须 有 ”的 属性 或 功能 ) 。 基 本 型 需求 上 的 差异 通常 是 体验 和 性 能 方面 的 ， 这 类 差异 最 有 可 能 转换 为 
需求 。 换 个 角度 思考 ， 当 客户 抱 钨 产品 的 体验 差 的 时 候 ， 可 以 从 竞 品 分 析 中 找到 改进 思路 。 


. 期 望 型 需求 (客户 期 望 的 但 不 是 “必须 ”的 产品 属性 或 服务 行为 ) 。 期 望 型 需求 上 的 差异 通常 体现 为 ， 对 同一 个 期 望 的 不 
同 实现 方式 ， 这 类 差异 如 果 仅 仅 列 出 功能 或 业务 流程 上 的 不 同 点 ， 往 往 无 法 引起 研发 团队 的 注意 。 竞 品 分 析 需 要 挖 据 出 客户 期 望 
这 个 需求 解决 什么 问题 、 达 成 什么 目的 ; 客户 团队 的 什么 角色 通过 哪些 操作 实现 这 个 目的 ， 从 目的 达成 的 过 程 和 结果 对 比 差异 ， 
才能 明确 知道 是 否 有 需要 改进 的 点 。 


“ 兴奋 型 需求 (完全 出 乎 意料 的 产品 属性 或 服务 行为 ， 使 用 户 产 生 惊喜 ) 。 兴 奋 性 需求 上 的 差异 通常 是 非常 大 的 ， 有 可 能 自 
研 产 品 和 竞 品 完全 没有 交集 。 竞 品 的 哪些 需求 值得 效仿 ， 需 要 结合 运营 、 营 销 、 销 售 的 需要 ， 所 以 测试 只 需要 找 出 这 些 不 同 ， 为 
决策 提供 信息 即 可 。 

由 于 竞 品 分 析 的 主要 目的 是 用 于 项 目 决 策 ， 因 此 通常 发 生 在 大 的 路 标 版 本 的 需求 分 析 阶 段 。 分 析 时 可 能 使 用 竞 品 的 正式 版 
本 、 试 用 版 本 ， 也 可 能 只 有 宣传 资料 ， 通 过 试用 版 本 或 宣传 资料 得 到 的 分 析 结 论 通 常 可 信和 度 较 低 。 


7.2.4 客户 信息 获取 的 渠道 


测试 结果 和 真实 表现 不 一 致 ， 非 常 容 易 导 致 客户 质疑 研发 造假 。 本 节 提 出 的 解决 思路 是 让 研发 测试 尽量 逼近 真实 使 用 ， 要 做 
到 这 一 点 需要 多 方面 的 信息 ， 这 些 信 息 无 法 在 需求 调研 报告 中 完全 覆盖 ， 需 要 在 产品 开发 、 验 收 、 生 命 周 期 管理 的 各 个 环节 不 断 
获取 和 完善 。 

产品 开发 。 开 发 过 程 中 可 以 通过 业务 流程 调研 、 开 发 过 程 中 的 客户 沟通 、 提 前 体验 等 各 种 活动 来 获取 信息 。 例 如 ， 客 户 关心 
的 、 合 同 中 涉及 的 指标 最 容易 出 问题 ， 那 么 在 交付 活动 中 就 可 以 逐步 进行 如 下 澄清 : 

* 在 需求 调研 后 、 合 同文 本 中 ， 一 般 可 以 确定 指标 值 ， 及 其 对 应 的 业务 流程 、 容 量 、 设 备 配置 等 。 


. 在 特性 演示 、 体 验 之 前 ， 可 以 尝试 沟通 确认 一 一 组 网 、 压 力 模型 、 业 务 数 据 模 型 、 用 户 数 据 模 型 、 操 作 或 模拟 方法 。 随 着 
客户 对 新 特性 的 了 解 加 深 ， 这 些 信息 也 可 能 发 生变 化 。 在 验收 测试 之 前 ， 以 上 信息 基本 应 该 确定 。 


这 些 信息 对 测试 结果 影响 很 大 ， 因 此 ， 测 试 工程 师 最 好 能 够 了 解 研发 团队 和 客户 日 常 沟通 的 责任 人 、 渠 道 和 计划 ， 以 便 在 合 
适 的 时 候 获取 或 确认 相关 的 信息 。 


验收 和 生命 周期 管理 。 一 方面 ， 在 研发 过 程 中 ， 客 户 对 产品 的 了 解 、 对 产品 上 线 后 如 何 更 好 地 使 用 考虑 并 不 多 ， 因 此 研发 过 
程 中 确认 的 客户 信息 ， 在 产品 验收 上 线 后 仍 可 能 发 生 较 大 变化 。 另 一 方面 ， 在 研发 过 程 中 ， 很 多 信息 (例如 网 络 条 件 、 用 户 数据 
模型 等 ) 客户 也 无 法 给 出 准确 的 现状 数据 。 因 此 很 大 一 部 分 的 客户 信息 是 在 产品 验收 、 上 线 应 用 以 后 才 采 集 到 的 。 


有 一 些 典 型 的 、 需 要 在 生命 周期 中 持续 更 新 的 信息 ， 比 如 ， 网 络 条 件 、 压 力 模型 及 其 业务 流程 、 用 户 数据 特征 、 体 验 相关 指 
标 、 性 能 、 可 靠 性 、 可 服务 性 的 真实 表现 等 。 这 不 仅 要 求 测 试 具备 相关 的 能 力 ， 更 重要 的 是 产品 团队 有 统计 这 些 网络 、 用 户 使 用 
的 特征 数据 的 能 


亡羊补牢 ， 未 为 晚 锋 。 产 品 开发 完成 后 搜集 信息 ， 对 当 次 的 项 目 交 付 已 经 没有 直接 的 作用 。 这 些 信息 主要 用 于 后 续 或 其 他 项 
目的 交付 ,例如 : 


. 该 客户 的 后 续 交 付 。 现 在 的 软件 项 目 基本 上 都 不 是 一 次 性 交付 ， 至 少 会 分 成 若干 期 ， 有 些 还 是 长 期 的 合作 伙伴 ， 定 期 上 线 
新 特性 。 这 些 客户 信息 可 以 为 后 续 的 项 目测 试 提 供 支持 ， 这 样 ， 随 着 时 间 的 推移 ， 测 试 的 结论 将 逐渐 逼近 客户 使 用 情况 。 

: 新 客户 的 交付 。 当 面向 若干 不 同 的 客户 完成 交付 ， 并 系统 地 整理 了 客户 信息 后 ， 面 对 新 的 客户 进行 需求 调研 时 ， 有 些 问答 
题 可 以 变 成 选择 题 ， 例 如 ， 业 务 、 运 营 术语 的 特殊 含义 、 业 务 的 管理 对 操作 流程 的 影响 、 压 力 模 型 、 故 障 处 理 流 程 、 协 议 或 接口 
的 特殊 细节 等 。 客 户 信息 不 仅 对 测试 有 用 ， 也 可 以 提升 需求 调研 质量 。 
总 之 ， 客 户 信息 是 在 产品 开发 、 验 收 、 生 命 周 期 管理 的 各 个 环节 逐步 获取 的 ， 我 们 的 测试 团队 目前 比较 重视 从 验收 活动 、 产 
息 、 客 户 问题 分 析 中 获得 信息 ， 主 要 原因 是 这 种 方式 可 操作 性 好 一 些 。 


7.2.5 “客户 视角 质量 评估 的 能 力 模型 


客户 视角 的 质量 评估 ， 是 使 研发 测试 按照 客户 使 用 产品 的 环境 、 用 法 、 目 的 完成 产品 测试 ， 了 解 客 户 将 会 怎样 评价 产品 质 
量 。 其 目的 是 使 产品 团队 对 产品 质量 有 准确 的 认 知 ， 为 产品 上 线 进程 、 产 品 研发 规划 的 决策 提供 数据 支撑 。 


o 


客户 视角 质量 评估 ， 是 在 测试 “提供 数据 ”这 一 价值 的 基础 上 的 提升 ， 如 图 7-23 所 示 。 


场景 仿真 或 
测试 设计 | “| 模拟 测试 


领域 知识 沟通 技巧 


设计 


图 7-23 客户 视角 质量 评估 的 能 力 要 求 


需要 测试 具备 的 能 力 有 : 


- 产品 质量 评估 。 有 功能 及 DFX 各 维度 的 质量 评估 方法 ， 及 其 指标 定义 (包含 核心 指标 和 附加 指标 ) ， 能 够 通过 实验 室 测 试 
结果 得 出 质量 评估 结论 。 


验 


* 客户 信息 库 。 建 立 了 客户 信息 库 的 架构 ， 能 够 将 需求 调研 、 业 务 现状 调研 、 开 发 过 程 中 的 客户 沟通 、 客 户 演示 和 体验 、 
收 测试 中 的 客户 沟通 、 产 品 在 线 运行 统计 、 客 户 问 题 分 析 等 渠道 得 到 的 客户 信息 进行 归纳 整理 ， 用 于 研发 的 分 析 、 设 计 、 实 现 、 
测试 等 活动 。 


. 业务 场景 和 应 用 场景 测试 设计 。 根 据 需求 和 客户 信息 进行 测试 设计 ， 得 到 的 业务 场景 、 应 用 场景 测试 用 例 。 在 验收 测试 、 


息 进 
产品 在 线 运行 中 ， 证 实 场景 测试 用 例 和 用 户 的 真实 使 用 场景 基本 一 致 。 


:仿真 或 模拟 测试 。 仿 真 或 模拟 客户 环境 设计 搭建 测试 环境 ， 仿 真 或 模拟 客户 操作 和 维护 系统 的 方式 进行 测试 执行 ， 产 品 上 
线 后 将 会 暴露 的 问题 ， 大 部 分 被 提前 发 现 ; 用 户 使 用 产品 后 将 会 得 出 的 评价 ， 也 可 以 被 预期 。 


` 沟通 能 力 。 向 客户 获取 、 确 认 各 类 信息 的 时 候 ， 需 要 较 好 的 沟通 能 力 。 


: 领域 知识 。 测 试 必须 熟悉 产品 所 处 业务 领域 的 核心 概念 ， 及 其 相关 功能 、 产 品 术 语 ， 否 则 无 法 从 客户 的 视角 发 现 问 题 ， 也 
无 法 和 客户 顺利 地 沟通 。 


从 我 的 实践 经 验 看 ， 客 户 视角 的 质量 评估 ， 对 于 性 能 、 可 服务 性 、 可 靠 性 、 体 验 的 客观 数据 方面 出 现 的 测试 结果 和 真实 表现 
不 一 致 的 问题 ， 能 够 相对 有 效 的 解决 。 对 于 功能 体验 的 主观 评价 方面 的 问题 ， 依 靠 测试 还 是 很 难 解决 ， 相 当 于 要 求 测试 具备 产品 
用 户 的 知识 背景 、 工 作 经 验 、 行 为 习惯 ， 这 几乎 是 不 可 能 的 。 最 可 靠 的 方法 ， 还 是 让 用 户 尽早 的 接触 产品 。 客 户 演示 、 体 验 测 
试 、beta 测 试 等 都 是 让 用 户 尽 早 接触 产品 的 方法 ， 除 此 以 外 ， 还 有 两 种 值得 借鉴 的 方法 : 


1) 通过 界面 DEMO 快捷 开发 工具 实现 这 一 目的 。 不 同 于 一 般 绘图 软件 做 出 的 界面 原型 ， 用 DEMO 开发 工具 开发 的 原型 ， 仿 
真 度 非 常 高 ， 控 件 都 是 可 以 操作 的 ， 也 可 以 实现 页 面 跳 转 、 数 值 计算 等 简单 的 功能 。 在 需求 调研 时 ， 利 用 工具 快速 开发 出 界面 原 
型 ， 客 户 在 DEMO 界面 进行 交互 式 操作 ， 确 认 业务 流程 ， 以 及 流程 中 各 个 页 面 的 内 容 、 布 局 、 风 格 。 在 产品 开发 时 ，DEMO 界 
面 可 以 导入 开发 环境 ， 作 为 产品 正式 开发 的 基础 。 这 样 开发 出 来 的 产品 ， 在 验收 测试 中 ， 很 少 再 出 现 业务 流程 、 页 面 基本 功能 上 


的 错误 。 


2) 通过 在 内 部 或 商用 的 云 测试 平台 上 发 布 测试 任务 实现 这 一 目的 。 通 过 引入 多 种 角色 (比如 ， 产 品 经 理 、 系 统 工程 师 、 服 
务工 程 师 、 客 户 、 友 好 用 户 、 潜 在 用 户 等 ) 参与 测试 来 获取 对 功能 性 和 体验 的 评价 。 测 试 的 职责 是 设计 体验 的 客观 评估 指标 和 主 
观 调 查 表 ， 并 确保 在 产品 体验 测试 的 过 程 中 能 够 搜集 到 所 需 的 数据 。 


7.3 小结 


动态 测试 是 测试 工程 师 最 重要 的 武器 ， 研 发 过 程 中 ， 对 产品 质量 的 任何 分 析 、 推 导 都 比 不 上 实事 (软件 运行 结果 ) 有 说 服 
力 。 因 此 ， 测 试 的 价值 拓展 ， 首 先 介绍 的 是 与 动态 测试 的 相关 的 两 类 : 


-全程 质 量 保障 上 的 绝 大 部 分 实践 ， 都 是 将 各 种 测试 活动 (尤其 是 测试 执行 活动 ) 前 移 ， 让 研发 各 角色 更 早 地 看 到 实事 
好 地 根据 实事 情况 进行 研发 质量 管理 。 


状 


" 客户 视角 质量 评估 的 本 质 是 提高 测试 执行 的 仿真 程度 ， 从 而 得 到 与 客户 感知 一 致 的 质量 结论 。 


对 于 客户 视角 的 质量 评估 ， 建 立 客户 信息 库 是 主要 的 技术 手段 ， 建 立 完善 产品 的 指标 集 是 主要 的 基础 能 力 。 相 比 之 下 ， 后 者 
还 更 重要 一 些 。 


第 8 章 ”产品 交付 先锋 


在 很 多 产品 研发 团队 中 ， 当 有 产品 演示 、 验 收 这 些 和 交付 有 关 的 活动 时 ， 测 试 工程 师 都 是 核心 主力 ， 因 为 测试 工程 师 深入 熟 
悉 产 品 特性 ， 对 特性 的 使 用 方法 、 约 束 和 限制 、 存 在 的 陷阱 等 都 很 熟悉 ， 遇 到 环境 或 产品 的 问题 能 够 快速 定位 、 解 决 或 规避 ， 
此 ， 把 测试 人 员 作 为 主要 的 任务 执行 者 是 很 自然 的 选择 。 


但 是 ， 从 我 的 经 验 看 ， 想 要 实现 “对 质量 、 成 本 、 效 率 的 显 性 的 、 以 测试 为 主 的 ”价值 ， 仪 仅 只 把 执行 者 的 工作 做 好 是 不 够 
的 。 


在 我 们 的 测试 团队 中 ， 大 部 分 测试 工程 师 都 参加 过 各 种 形式 的 产品 交付 工作 ， 但 是 通过 产品 交付 活动 崭露头角 的 ， 都 因 其 在 
这 些 活动 中 展现 出 来 了 测试 执行 以 外 的 能 力 ， 比 较 典 型 的 大 约 有 两 类 : 


结合 自己 对 行业 、 业 务 、 客 户 的 理解 ， 在 演示 、 了 验收 、 体 验 测试 、beta 测 试 、 客 户 问题 分 析 等 产品 交付 相关 活动 中 ， 通 过 
和 客户 的 沟通 不 断 完善 需求 信息 ， 并 用 这 些 信息 开展 基于 需求 的 测试 ， 先 于 客户 发 现 需 求 设计 、 实 现 的 问题 ， 帮 助 研发 团队 缩短 
从 需求 提出 到 商用 的 周期 。 这 就 是 8.1 节 “代表 客户 测试 ”中 介绍 的 内 容 。 


“ 结合 自己 良好 的 沟通 能 力 、 管 理 能 力 、 问 题 处 理 能 力 ， 在 演示 和 验收 等 产品 交付 活动 中 占据 了 主导 地 位 ， 并 在 活动 结束 后 
主动 总 结 ， 把 产品 交付 的 各 项 工作 加 以 规范 ， 把 后 续 项 目的 产品 交付 活动 引 向 正轨 。 这 就 是 8.2 节 “产品 交付 专家 ”中 介绍 的 内 


从 
合 -o 


8.1 代表 客户 测试 


在 我 的 经 验 里 ， 影 响 产 品 的 竞争 力 、 定 价 、 市 场 定位 的 全 新 开发 的 主要 特性 ， 通 常 要 到 第 三 个 版 本 才能 上 线 稳定 运行 。 


在 第 一 个 版 本 时 ， 客 户 可 能 会 发 现 主 业务 流程 不 满足 需要 ， 人 存在 新 特性 与 既 有 的 业务 有 矛盾 、 不 符合 一 贯 的 经 营 罗 辑 、 流 程 
缺少 重要 的 功能 环节 、 缺 乏 配 套 的 运营 方案 等 问题 ， 导 致 特性 无 法 使 用 和 运营 。 


在 第 二 个 版 本 时 ， 特 性 的 主流 程 基 本 符合 要 求 ， 可 以 小 范围 试用 ， 使 用 中 可 能 会 发 现 新 特性 缺乏 主要 的 处 理 分 支 、 某 些 条 件 
下 无 法 正常 使 用 、 某 些 角色 无 法 获取 操作 入 口 、 处 理 流程 中 存在 前 后 矛盾 等 影响 大 范围 推广 使 用 的 问题 。 


在 第 三 个 版 本 时 ， 绝 大 部 分 的 需求 问题 解决 完毕 ， 满 足 客户 的 业务 场景 需要 ， 特 性 可 以 大 范围 推广 使 用 。 


特性 的 第 一 个 版 本 是 投石 问 路 ， 除 非 需求 工程 师 对 客户 的 业务 领域 、 业 务 流程 及 其 经 营 方式 都 很 精通 ， 否 则 这 个 阶段 是 很 难 
避免 的 。 特 性 经 过 了 第 一 个 版 本 的 试 错 ， 主 要 的 业务 流程 、 运 营 方案 确定 以 后 ， 进 入 第 二 个 版 本 ， 完 成 特性 需求 的 正式 开发 。 


特性 的 第 二 个 版 本 仍 需要 经 过 若干 子 版 本 不 断 地 调整 需求 、 修 改 问 题 ， 最 终 到 第 三 个 版 本 才能 达到 正式 上 线 应 用 的 条 件 。 而 
代表 客户 测试 的 目的 ， 就 是 缩短 这 个 进程 。 


【价值 体现 】 
代表 客户 测试 的 价值 在 于 : 帮助 改善 需求 质量 、 提 前 暴露 需求 问题 ， 缩 短 从 需求 提出 到 商用 的 周期 。 


可 以 解决 的 典型 问题 如 : 交付 给 客户 的 新 特性 因 缺 乏 必 要 的 配套 功能 而 无 法 正常 使 用 ;交付 的 特性 不 符合 客户 的 需要 ; 版 本 
交付 给 客户 后 伴随 大 量变 更 需求 等 。 


代表 客户 测试 ， 是 项 目 型 产品 的 测试 团队 的 重要 价值 之 一 ，7.1.2 节 “测试 尽早 开展 : 尽早 开展 需求 验证 ”， 以 及 7.2.2 
节 “ 客 户 视角 的 产品 质量 评估 ”都 服务 于 这 个 价值 。 前 者 是 以 这 个 价值 为 目标 的 流程 改进 ; 后 者 是 以 这 个 价值 为 目标 的 DFX 测 试 
技术 改进 。 本 章 的 内 容 ， 是 以 这 个 价值 为 目标 的 功能 测试 技术 改进 : 测试 人 员 需 要 利用 自己 对 产品 业务 领域 的 理解 ， 在 需求 评审 
中 、 在 基于 需求 的 测试 中 ， 先 于 客户 发 现 需求 的 问题 ， 帮 助 研 发 团队 尽快 做 出 “有 用 ”的 特性 。 


【核心 工作 】 


代表 客户 测试 ， 最 核心 的 就 是 基于 需求 测试 。 业 界 的 调查 数据 显示 ， 每 500 份 需求 文档 中 ， 只 有 2 份 是 完全 正确 、 完 整 的 。 
因此 ，“ 基 于 需求 测试 ”不 能 只 是 “基于 需求 文档 测试 ”， 而 是 需要 做 到 : 


. 改善 需求 质量 。 利 用 需求 内 容 模型 (5W1H) 促进 需求 内 容 完 整 性 的 提升 ， 利 用 测试 对 产品 、 业 务 的 理解 ， 通 过 静态 测试 
发 现 需 求 中 的 遗漏 、 了 矛盾 、 错 误 ， 从 而 改善 需求 ， 即 测试 设计 输入 的 质量 。 静 态 测试 的 方法 ， 参 见 7.1.1 节 “测试 尽早 开展 : 全 程 


软件 测试 ”， 这 里 补充 一 些 需 求 5W1H 分 析 的 方法 。 
“ 基于 需求 测试 。 根 据 需 求 进行 单个 操作 、 业 务 场景 和 应 用 场景 的 测试 。 单 个 操作 的 功能 测试 是 最 基本 的 功能 测试 ， 这 里 不 
深入 介绍 。 业 务 场景 通常 是 一 组 有 明确 目标 的 操作 序列 ， 测 试 设计 通常 是 对 操作 序列 建 流程 图 模型 ， 使 用 流程 图 的 履 盖 方法 得 到 


测试 用 例 ， 这 里 也 不 深入 介绍 。 这 里 重点 介绍 端 到 端的 应 用 场景 测试 。 


【方法 和 工具 简 述 】 
不 同类 型 的 需求 ， 其 需求 分 析 质 量 是 不 一 样 的 。 


对 于 基本 型 需求 或 者 效仿 竞 品 的 需求 ， 在 需求 分 析 时 可 以 将 况 品 或 客户 现 有 的 手工 操作 流程 作为 形象 的 、 可 操作 的 参照 对 
象 ， 并 非 完全 抽象 分 析 。 因 此 客户 和 需求 工程 师 对 特性 的 顶层 设计 基本 上 是 完整 、 准 确 的 ， 可 以 保证 特性 是 “有 用 ”的 ， 缺 陷 主 
要 出 现在 细节 的 遗漏 或 者 实现 过 程 中 偏离 需求 。 通 过 在 需求 评审 中 对 需求 细节 进行 补充 和 确认 ， 使 需求 信息 传递 得 更 为 完整 。 通 
过 在 迭代 开发 中 开展 基于 需求 的 测试 (参见 7.1.2 节 “测试 尽早 开展 : 尽早 开展 需求 验证 ”) ， 并 使 质量 评估 方法 和 客户 对 齐 

(参见 7.2.2 节 “客户 视角 的 产品 质量 评估 ”) 使 线 上 的 偏离 得 到 纠正 。 


对 于 期 望 型 需求 和 兴奋 型 需求 ， 客 户 希 望 解决 的 是 他 们 面临 的 新 问题 ， 客 户 和 需求 工程 师 对 特性 的 顶层 设计 基本 依赖 抽象 的 
分 析 和 推演 ， 想 要 使 顶层 需求 完整 、 准确 就 非常 困难 了 ， 研 发 团队 根据 纸 面 上 写 下 来 的 需求 进行 开发 和 测试 ， 就 难免 做 出 “ 没 
用 ”的 特性 。 从 业界 的 数据 看 ， 一 个 版 本 中 可 能 有 高 达 40% 的 新 开发 特性 是 没有 被 用 户 使 用 的 。 


对 于 期 望 型 需求 和 兴奋 型 需求 的 尽快 成 熟 ， 测 试 人 员 可 以 做 以 下 工作 : 在 测试 设计 中 针对 需求 的 各 个 层次 ， 设 计 特 性 的 应 用 
场景 和 业务 场景 测试 用 例 。 在 测试 执行 时 ， 通 过 研发 测 坛 、 邀 请 客户 和 需求 工程 师 参与 体验 和 演示 等 方式 ， 在 产品 特性 半成品 
上 ， 利 用 形象 的 操作 过 程 对 抽象 的 分 析 进 行 验证 和 纠 错 。 这 样 原来 到 客户 使 用 才 发 现 的 缺陷 ， 就 能 提前 到 测试 过 程 中 发 现 ， 缩 短 
从 缺陷 发 现 到 解决 的 周期 ， 帮 助 客户 尽早 获得 满足 期 望 的 特性 。 


因此 ， 代 表 客 户 测试 采用 的 方法 如 图 8-1 所 示 。 


迭代 开发 


3 呈 < 
测试 ”设计 测试 ”设计 测试 ”设计 


测试 活动 一 一 需求 评审 一 体验、 演示 、( 基 于 需求 的 ) 系统 测试 
业务 场景 测试 设计 

应 用 场景 测试 设计 * 

仿真 或 模拟 测试 执行 


评审 三 步 曲 
需求 内 容 SW1H 模 型 * 


客户 信息 库 、 测 试 资 产 库 、 产 品 配置 库 等 


* 本 章 介绍 的 内 容 
图 8-1 代表 客户 测试 的 主要 方法 

其 中 本 节 介绍 的 是 用 于 期 望 型 需求 、 兴 奋 型 需求 验证 的 方法 ， 即 ， 利 用 需求 5W1H 模 型 提升 需求 质量 ， 利 用 业务 场景 、 应 用 
场景 测试 进行 需求 验证 。 
8.1.1 需求 5W1H 分 析 

在 7.1.1 节 “测试 尽早 开展 : 全 程 软件 测试 ”中 ， 介 绍 了 需求 评审 有 3 个 层次 : 理解 ， 质疑， 建设。 对 需求 评审 第 二 个 层次 
一 一 质疑 ， 可 以 结合 特性 功能 测试 设计 进行 。 这 里 再 介绍 一 个 需求 第 二 个 层次 的 评审 的 工具 一 一 5W1H 需 求 内 容 模型 。 

想 要 使 需求 的 质量 满足 单个 操作 功能 测试 的 需要 ， 结 合 特性 功能 测试 设计 进行 评审 ( 即 检查 测试 用 例 所 需 的 预 置 条 件 、 操 作 
及 其 数据 、 预 期 结果 是 否 可 以 确定 ) 基本 上 就 满足 需要 了 。 

想 要 使 需求 的 质量 满足 业务 场景 、 应 用 场景 测试 的 需要 ， 就 需要 结合 ?W1H 模 型 进行 评审 ， 才 能 得 到 内 容 完整 的 需求 。 

一 个 完整 的 需求 应 该 包含 如 图 8-2 所 示 的 内 容 ， 即 ， 需 求 的 5W1H 模 型 。 

需求 的 5W1H 内 容 包括 : 


. 业务 需求 (why) 。 客 户 想 要 解决 什么 问题 ， 达 成 什么 目的 。 这 是 客户 提出 需求 的 根本 原因 ， 很 多 时 候 ， 在 需求 调研 中 客 
户 与 需求 工程 师 进 行 了 口头 交流 ， 但 没有 写 入 合同 和 需求 说 明 书 ， 或 者 即使 写 入 合同 也 是 作为 背景 信息 进行 抽象 描述 〈 例 如 ， 提 
升 业务 处 理 效率 等 ) 。 需 求实 现 方案 设计 时 ， 会 权衡 开发 工作 量 和 需求 满足 度 ， 如 果 对 需求 提出 的 原因 不 了 解 ， 就 会 倾向 于 选择 
开发 工作 量 较 小 、 并 且 需 求 “ 也 算 ” 满 足 了 的 方案 ， 这 时 就 有 较 大 机 会 发 生 实现 方案 和 客户 需求 偏离 的 问题 。 有 些 比较 严谨 的 需 
求 工程 师 ， 以 示例 的 形式 描述 了 业务 的 现状 和 期 望 解决 的 问题 ， 这 是 比较 值得 借鉴 的 形式 。 


业务 需求 why 解决 什么 问题 ? 达成 什么 目的 ? 


who 


用 户 需 求 谁 ? 完成 什么 任务 ? 
软件 需求 how 如 何 实现 ? 
图 8-2 ”需求 的 5W1H 模 型 


.用户 需求 (Who，Whete，When，What) 。 由 什么 角色 (Who) ， 在 什么 条 件 下 (When) ， 在 哪个 功能 入 口 (Where) ， 
使 用 什么 功能 的 什么 操作 (What) 来 达成 业务 目的 。 这 是 合同 和 需求 说 明 书 最 主要 的 内 容 ， 这 部 分 会 包含 功能 触发 的 入 口 、 功 
能 说 明 、 功 能 使 用 约束 、 和 触发 功能 的 事件 ， 以 及 执行 完成 后 的 响应 和 结果 等 。 

' 软件 需求 (how) 。 如 何 实现 用 户 需 求 ， 这 是 软件 需求 规格 说 明 书 的 主要 内 容 。 用 户 需求 分 解 为 各 个 模块 或 子 系 统 的 哪些 
功能 ， 包 含 功 能 的 主流 程 和 备 选 流程 、 数 据 对 象 和 接口 的 结构 等 。 

现实 项 目 中 ， 测 试 获得 的 需求 通常 只 包 售 what (通过 合同 或 用 户 需 求 文档 ) 和 how (软件 需求 文档 、 设 计 文 档 ) ， 通 过 特 

性 的 演示 、 体 验 测试 活动 和 建立 客户 信息 库 ， 能 够 将 who、where、when 的 信息 补充 完整 。 但 是 ， 对 于 期 望 型 需求 和 兴奋 型 需 
求 而 言 ， 最 重要 的 是 why， 只 有 围绕 why 来 测试 和 评估 ， 才 能 真正 发 现 用 户 需 求 和 软件 需求 遗漏 以 及 错误 的 问题 。 


在 需求 调研 时 ， 业 务 需求 (why) 通常 并 没有 被 清晰 陈述 ， 无 论 是 客户 还 是 需求 工程 师 ， 都 倾向 于 一 开始 就 谈 具体 的 功能 ， 
但 很 多 时 候 ， 客 户 想到 的 功能 需求 并 不 足以 很 好 地 解决 业务 问题 。 软 件 开 发 经 常 需要 面 对 需 求 变更 太 快 的 问题 ， 事 实 上 变更 的 只 
是 功能 需求 ， 业 务 需求 几乎 不 会 变 。 例 如 ， 某 个 产品 接 到 一 个 需求 ， 需 要 记录 操作 员 签 到 、 签 出 的 功能 ， 后 来 又 提出 工时 统计 的 
需求 ， 再 后 来 又 需要 按 小 时 的 操作 员 在 线 情 况 报表 .……。 事 实 上 客户 的 问题 是 ， 晚 班 操作 员 抱 她 工作 太 累 ， 经 理想 要 重新 确定 排 
班 规则 ， 需 要 制定 规则 的 依据 。 服 务 请 求 的 周期 规律 、 工 作 人 员 在 线 情况 、 业 务 操 作 耗 时 的 周期 规律 等 都 是 合理 的 排 班 需要 的 功 
能 。 如 果 不 能 从 业务 需求 角度 去 分 析 ， 就 只 能 得 到 看 似 零 散 的 需求 ， 而 且 每 个 需求 都 十 分 紧急 。 


由 于 功能 需求 背后 的 商业 目的 或 管理 目的 (why) ， 一 般 是 通过 和 需求 工程 师 或 客户 的 深入 沟通 才能 获得 ， 因 此 测试 工程 师 
首先 要 了 解 产品 应 用 的 行业 和 客户 的 组 织 结构 及 其 职能 ， 以 获得 和 需求 工程 师 或 客户 平等 对 话 的 资本 。 


了 解 一 个 行业 ， 至 少 包括 : 

1) 这 个 行业 的 存在 是 因为 其 提供 了 什么 价值 ? 

2) 这 个 行业 从 源头 到 终点 都 有 哪些 环节 ? 客户 在 这 个 行业 中 处 于 什么 环节 ? 
3) 这 个 行业 、 这 个 环节 的 市 场 集中 度 如 何 ? 领先 的 玩家 是 谁 ? 

4) 这 个 行业 、 这 个 环节 现今 状况 、 过 去 、 未 来 一 段 时 间 内 可 能 的 发 展 趋势 ? 


5) 这 个 行业 、 这 个 环节 通行 的 概念 和 术语 是 什么 ?含义 是 什么 ? 


6) 客户 凭借 什么 天 键 因素 ， 创 造 了 什么 价值 获得 他 所 应 得 的 利益 ? 


7) 客户 的 主要 业务 是 什么 ? 产品 的 主要 用 户 是 哪些 ? 

8) 客户 使 用 的 概念 与 行业 通行 的 概念 如 何 对 应 ”含义 有 何 差异 ? 

了 解 客 户 的 组 织 结构 ， 至 少 包括 : 

1) 业务 团队 的 组 织 架构 和 主要 角色 。 

2) 每 个 角色 在 主要 业务 、 运 营 、 管 理 流程 的 职能 。 

3) 主要 业务 、 运 营 、 管 理 流程 的 操作 者 、 监 管 者 、 决 策 者 、 服 务 对 象 和 其 他 利益 相干 人 。 


有 了 这 些 背 景 知识 后 ， 在 客户 访谈 、 调 查 问卷 、 体 验 测 试 、 特 性 演示 等 各 种 场合 ， 旁 听 或 参与 讨论 和 澄清 需求 的 时 候 ， 测 试 
工程 师 就 不 会 陷于 过 多 的 陌生 术语 ， 导 致 无 法 抓 住 需求 的 重要 信息 。 

测试 工程 师 进行 需求 分 析 整 理 的 主要 目的 ， 是 更 有 效 地 发 现 需 求 的 遗漏 、 不 一 致 或 偏差 等 方面 的 缺陷 ， 而 不 是 需求 本 身 的 挖 
掘 和 分 析 ， 因 此 测试 主要 是 从 需求 工程 师 那 里 获取 完整 的 需求 信息 ， 不 建议 测试 人 员 越 得 代 应 ， 代 蔡 需 求 工程 师 直接 和 客户 沟通 
需求 。 但 是 如 果 在 客户 进行 特性 体验 发 现 特性 不 符合 需要 时 ， 测 试 工程 师 也 可 以 在 问题 确认 的 同时 澄清 需求 ， 尤 其 是 业务 需求 
(why) 。 

对 5W1H 信 息 齐 备 的 需求 ， 测 试 可 以 对 需求 进行 静态 测试 (参见 7.1.1 节 “测试 尽早 开展 : 全 程 软件 测试 ”) 、 动 态 测试 
(参见 8.1.2 节 “ 端 到 端 应 用 场景 测试 ”) ， 并 在 测试 结束 后 依据 需求 进行 特性 的 质量 评估 。 

静态 测试 前 ， 建 议 先 尝试 在 产品 中 寻找 新 特性 的 参照 特性 ， 参 照 特性 应 该 是 已 经 上 线 应 用 的 特性 ， 参 照 特性 与 新 特性 可 能 功 

类 似 ， 或 者 处 理 流 程 类 似 ， 或 者 是 同一 个 角色 的 职能 ， 或 者 服务 于 同样 的 商业 目的 或 管理 目的 ， 又 或 者 是 其 他 客户 的 同类 特 
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各 | 
日 


放 


如 果 能 够 找到 参照 特性 ， 可 以 根据 参照 特性 的 业务 处 理 流程 ， 配 套 运 营 、 维 护 、 管 理 操作 ， 特 性 使 用 的 上 下 文 、 约 束 和 限 
制 ， 特 性 验收 、 上 线 时 发 现 的 缺陷 等 ， 对 新 特性 的 需求 进行 对 照 分 析 ， 起 到 查 缺 补漏 、 避 免 重 复 犯 错 的 作用 .。 


SE 位 了 开 伞 
0 : 一 客户 访谈 、 调 查 问 卷 一 需求 评审 体验 测试 、 特 性 演示 
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| | 
5W1H 信 ( 基于 需求 的 ) 系统 测试 
息 完 整 的 


需求 


图 8-3 测试 人 员 参 与 需求 采集 和 澄清 的 目的 


总 之 ， 如 图 8-3 所 示 ， 为 了 使 需求 的 质量 满足 业务 场景 、 应 用 场景 测试 的 需要 ， 需 求 的 ?5W1H 信 息 应 该 完整 。 完 整 的 需求 信 
息 可 能 是 在 需求 评审 时 ， 由 需求 工程 师 补 齐 ; 也 可 能 是 在 客户 访谈 、 调 查 问卷 、 体 验 测试 、 特 性 演示 等 活动 中 ， 通 过 和 客户 的 沟 


通 补 齐 。 无 论 用 那 种 方式 获得 需求 的 完整 信息 ， 最 终 的 目的 都 是 将 其 用 于 基于 需求 的 测试 。 


8.1.2 ” 端 到 端 应 用 场景 测试 


产品 需求 分 为 软件 需求 、 用 户 需 求 和 业务 需求 ， 相 应 的 ， 基 于 需求 的 测试 也 分 为 三 种 ， 如 图 8-4 所 示 : 


* 基于 规格 的 测试 。 即 基于 软件 需求 (需求 规格 说 明 书 ) 进行 测试 。 测 试 对 象 是 单个 操作 。 测 试 的 目的 是 验证 在 各 种 条 件 、 
输入 的 组 合 情 况 下 ， 操 作 的 结果 是 否 和 需求 描述 的 一 致 。 


* 业务 场景 测试 。 基 于 用 户 需求 (合同 或 用 户 需求 文档 ) 进行 测试 。 测 试 对 象 是 完成 一 次 业务 处 理 的 一 组 操作 。 测 试 的 目的 


是 验证 在 各 种 条 件 、 输 入 的 组 合 情 况 下 ， 业 务 处 理 流程 和 操作 结果 是 否 和 需求 描述 的 一 致 。 


* 应 用 场景 测试 。 基 于 业务 需求 (合同 或 用 户 需求 文档 ) 进行 测试 。 测 试 对 象 是 针对 一 个 商业 或 管理 目标 完成 的 业务 处 理 、 
运营 、 管 理 等 一 组 操作 。 测 试 的 目的 是 验证 操作 的 过 程 、 操 作 结 果 之 间 的 逻辑 关系 是 否 和 需求 描述 的 一 致 。 


7 解决 什么 问题 ， 
”应 用 场景 测试 业务 需求 why 达成 什么 目的 
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图 8-4 ”基于 需求 的 测试 


需要 注意 的 是 ， 这 里 把 针对 单个 操作 、 业 务 场景 、 应 用 场景 的 测试 都 纳入 基于 需求 的 测试 ， 但 在 业界 ， 通 常 只 把 基于 合同 或 
用 户 需求 文档 开展 的 测试 ， 即 业务 场景 和 应 用 场景 测试 称 为 基于 需求 的 测试 。 


业务 场景 和 应 用 场景 以 合同 或 用 户 需 求 作为 测试 设计 的 主要 依据 ， 利 用 需求 中 的 5W1H 信 息 设计 接近 真实 使 用 场景 的 测试 用 
例 ， 模 拟 客户 对 产品 进行 验证 ， 先 于 客户 发 现 需求 的 问题 。 例 如 : 业务 流程 无 法 正常 完成 或 不 通畅 ;不 同 分 支 场景 处 理 结果 不 一 
致 ; 不 同 功能 对 同一 个 控制 命令 、 数 据 对 象 状态 、 数 据 对 象 取 值 定义 不 一 致 ， 功 能 遗漏 ; 特性 无 法 运营 、 维 护 和 管理 等 问题 ， 减 
少 产 品 移交 客户 使 用 后 的 缺陷 ， 缩 短 特性 上 线 周期 。 


单个 操作 、 业 务 场 景 的 测试 由 于 依据 比较 明确 ， 在 现 有 的 常规 系统 测试 中 已 经 能 够 完成 。 应 用 场景 测试 虽然 也 是 依据 合同 或 
用 户 需求 ， 但 需要 把 分 散在 各 个 特性 中 的 需求 整合 成 一 个 有 明确 业务 目的 和 含义 的 完整 场景 ， 测 试 重点 是 产品 的 特性 组 合 ， 难 度 
相对 比较 大 ， 大 部 分 项 目的 常规 系统 测试 尚未 包含 这 部 分 内 容 。 


应 用 场景 测试 常用 的 分 析 和 设计 方法 如 表 8-1 所 示 。 


表 8-1 应 用 场景 测试 常用 的 分 析 和 设计 方法 


分 析 方 法 设计 方法 
流程 图 的 : 

1 ) 语句 覆盖 
2 ) 分 文 履 盖 
3 ) 路 径 履 盖 


状态 迁移 图 的 : 


用 户 的 业务 请 求 在 产品 内 的 传递 及 处 理 过 程 ， 
工作 流 包括 每 个 环节 涉及 的 角色 、 和 触发 的 动作 、 使 用 
的 临时 和 永久 数据 对 象 、 对 数据 对 象 的 操作 


实现 业务 流程 控制 的 程序 对 象 从 创建 到 销毁 


任务 对 象 状态 迁移 1 ) 迁移 覆盖 
状态 迁 \ 证 下 
的 状态 迁移 过 程 5 年 沁 允 本 可 
业务 流程 涉及 的 主要 数据 对 象 从 创建 到 销毁 
数据 对 象 状 态 迁 移 
的 状态 迁移 过 程 
业务 流程 涉及 的 主要 数据 对 象 的 CRUD ( 包 
数据 CRUD 此 务 流程 涉及 的 主要 数据 对 象 的 创 ey 


建 、 修 改 、 使 用 、 删 除 ) 和 矩阵 


任务 对 象 状 态 迁 移 和 工作 流 都 是 对 业务 处 理 过 程 进行 建 模 ， 一 般 比 较 习 惯 分 析 工 作 流 (流程 图 ) ， 但 事实 上 状态 迁移 (状态 
迁移 图 ) 更 能 简洁 地 表现 各 种 异常 、 回 滚 的 情况 ， 更 适合 用 于 测试 建 模 。 


数据 CRUD 和 数据 状态 迁移 都 是 对 数据 对 象 进行 建 模 ， 数 据 对 象 状 态 迁 移 包含 用 户 操作 对 数据 对 象 状态 的 影响 ， 因 此 也 可 以 
用 于 业务 处 理 过 程 的 建 模 。CRUD 模 型 信息 量 小 ， 但 十 分 便于 宏观 上 的 特性 和 功能 的 交互 分 析 。 


不 同 的 特性 如 果 出 现在 同一 个 业务 处 理 过 程 中 ， 或 者 对 同一 个 任务 对 象 、 数 据 对 象 进行 了 操作 ， 就 需要 考虑 是 否 对 这 些 特性 


进行 组 合 测试 。 


在 应 用 场景 的 测试 设计 中 ， 可 以 先 采 用 数据 CRUD 分 析 找 到 需要 进行 组 合 测试 的 特性 ， 然 后 再 对 这 些 特 性 共同 操作 的 业务 、 
任务 对 象 或 数据 对 象 进行 流程 图 或 状态 图 的 分 析 ， 最 后 根据 分 析 结 果 进 行 测试 用 例 的 设计 。 


下 面 用 一 个 例子 简单 说 明 应 用 场景 测试 设计 方法 。 
【案例 】 电 商 内 控 系 统 的 商品 订单 处 理 特 性 。 
步骤 一 : 商品 订单 处 理 主要 功能 的 CRUD 分 析 ， 如 表 8-2 所 示 。 


表 8-2 商品 订单 处 理 主 要 功能 的 CRUD 模 型 
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商品 订单 处 理 : 商户 从 客户 付款 以 后 至 收 到 货款 期 间 的 处 理 过 程 。 包 含 的 功能 
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和 中 添加 物流 信息 ， 更 新 平台 订单 物流 状态 ， 扫 描 物 流 状 态 直至 包 训 签收 。 
“ 收 款 。 根 据 商品 订单 跟踪 包 右 状态， 跟踪 平台 订单 签收 状态 ， 从 平台 收 款 ， 更 新 商品 订单 状态 。 
退货。 接收 并 审核 退货 请 求 ， 接 收 退 货 包 衰 ， 验 收 并 确认 退货 。 

管理 。 备 货 效率 ， 发 货 效率 ， 错 单 率 ， 递 送 效率 ， 到 款 周 期 等 相关 统计 。 

- 运营 。 漏 发 货 追 商品 盘点 ， 对 账 成 本 分 析 。 

. 维护 。 定 期 备份 和 清理 包 衰 、 商 品 订 单 信息 。 


从 功能 与 数据 对 象 的 CRUD 分 析 ， 得 出 以 下 功能 交互 点 : 


“ 备货 、 退 货 、 管 理 功能 中 ， 需 要 围绕 库存 数据 的 操作 进行 功能 交互 。 例 如 ， 有 预订 订单 时 ， 除 了 采购 到 货 ， 退 货 入 库 也 可 
以 激活 预订 订单 。 
“ 备货 、 收 款 、 退 货 ， 需 要 围绕 平台 订单 、 商 品 订 单 进行 功能 交互 。 例 如 ， 模 拟 同 时 修改 订单 状态 。 


“ 备货 、 收 款 、 退 货 功能 ， 需 要 围绕 包 训 信息， 尤其 是 分 包 信息 进行 功能 交互 。 例 如 ， 备 货 将 货品 分 为 3 个 标准 小 纸箱 ， 收 
、 退 换 货 都 需要 根据 3 个 包 衷 的 情况 进行 处 理 。 


“ 运营 与 备货 、 收 款 、 退 货 ， 要 围绕 包 庄 和 平台 订单 、 商 品 订单 进行 功能 交互 ， 例 如， 数据 的 各 种 状态 下 的 发 货 追 踪 、 商 品 
盘点 、 对 账 。 


坚 一 : 商品 订单 的 有 限 状态 机 分 析 。 


综合 第 一 步 的 分 析 ， 备 货 、 收 款 、 退 货 3 个 特性 的 功能 交互 比较 多 ， 与 这 3 个 特性 有 关 的 数据 对 象 有 : 商品 订单 ， 平 台 订 
单 ， 包 衷 信息 。 其 中 ， 商 品 订单 是 贯穿 始终 的 核心 数据 对 象 ， 因 此 以 商品 订单 为 核心 进行 状态 机 分 析 ， 同 时 考虑 包 衷 数据 和 平台 
订单 数据 。 


分 包 一 FAL SE vg 
发 完 二 TRUE 


A 分 包 =FALSE or 
收 完 = 
台 发 送 退 货 请 求 收 完 二 TRUE 


图 8-5 ”商品 订单 的 有 限 状 态 机 模型 


如 图 8-5 所 示 ， 从 商品 订单 的 状态 机 模型 ， 得 到 需要 履 盖 的 场景 包括 : 


" 从 商品 订单 创建 到 关闭 的 过 程 。 


“ 订单 分 包 衰 发 货 、 不 分 包 庄 发 货 的 场景 。 


: 任意 状态 下 处 理 退货 请 求 。 


: 任意 状态 有 一 次 超时 处 理 后 ， 再 进行 后 续 处 理 。 


步骤 三 : 应 用 场景 测试 项 。 


综合 CRUD 和 状态 机 模型 的 分 析 ， 得 到 以 下 基本 应 用 场景 测试 项 


* 预订 订单 ， 采 购 到 货 、 退 货 入 库 激活 订单 后 将 订单 处 理 完 成 。 

“ 现货 订单 ， 从 订单 创建 到 关闭 的 过 程 。 

* 预订 订单 ， 备 货 将 货品 分 为 3 个 标准 小 纸箱 包裹 ， 其 中 一 个 发 货 超时 、 一 个 签收 超时 。 
. 正在 备货 、 正 在 发 货 、 已 到 货 、 已 签收 状态 下 ， 处 理 退 货 请 求 

“ 任意 状态 有 一 次 超时 、 回 退 、 操 作 错 误 、 重 复 操 作 后 ， 再 进行 后 续 处 理 。 

. 商品 订单 各 种 状态 下 进行 发 货 追 踪 、 商 品 盘点 、 对 账 、 报 表 输 出 、 数 据 备份 。 

相应 的 单个 操作 、 业 务 场景 的 测试 范围 


假设 备货 的 操作 步骤 是 : 发 货 员 启 动 订单 A 备货 一 仓库 获取 订单 A 备货 清单 一 仓库 按 清 单 备货 并 登记 出 库 信 息 一 发 货 员 按 清 
单 确认 备货 完成 一 发 货 员 将 货品 打包 并 录入 货品 对 应 的 包 计 信息 。 


单个 操作 的 测试 。 例 如 ， 针 对 “ 按 清 单 备货 并 登记 出 库 信 息 ” 操 作 ， 需 要 测试 清单 长 度 、 清 单 中 每 件 商品 数量 、 清 单 中 商品 
种 类 、 清 单 中 商品 库存 数量 的 各 种 情况 对 操作 结果 的 影响 ， 以 及 各 种 出 库 错误 、 超 时 的 情况 下 的 操作 结 


业务 场景 的 测试 。 例 如 ， 针 对 备货 业务 ， 需 要 测试 正常 完成 备货 、 备 货 过 程 出 错 、 订 单 取消 、 库 存 不 足 、 分 包 训 等 各 种 情况 
下 流程 的 走向 与 处 理 结 告 果 ， 以 及 每 个 操作 环节 出 现 错误 、 超时 、 回 退 和 反复 操作 时 流程 的 走向 与 处 理 结果 。 


根据 流程 图 和 状态 迁移 图 进行 业务 场景 、 应 用 场景 测试 设计 时 ， 需 要 特别 注意 : 当 流 程 的 各 个 环节 出 现 错误 和 超时 ， 流 程 是 
能 够 正确 结束 ; 各 环节 是 否 存在 回 退 和 反复 操作 的 可 能 ; 是 否 有 运营 、 维 护 、 管 理 操作 会 影响 流程 和 状态 的 走向 。 


这 些 内 容 是 测试 必须 考虑 的 分 支 场景 ， 但 通常 并 不 包含 在 系统 工程 师 建立 的 需求 模型 中 ， 这 也 是 为 什么 在 实现 了 MB 工 自动 
化 测试 的 项 目 中 ， 测 试 无 法 直接 使 用 需求 模型 生成 用 例 。 


步骤 四 : 应 用 场景 测试 用 例 。 


一 步 得 到 的 基本 应 用 场景 是 高 层 的 、 抽 象 的 场景 ， 需 要 进一步 分 析 每 个 状态 中 的 迁 入 、 迁 出 操作 和 数据 ， 以 及 状态 内 的 处 
理 过 程 和 数据 ， 把 抽象 场景 分 解 细 化 为 一 组 具体 的 场景 用 例 。 


在 8.1.1 节 “需求 5W1H 分 析 ” 中 ， 伦 了 大 量 篇 幅 介绍 业务 需求 (why) 的 重要 性 ， 但 在 以 上 应 用 场景 测试 设计 的 例子 中 使 
用 的 都 是 “why” 以 外 的 需求 信息 ， 这 是 因为 “why” 的 重要 性 并 不 体现 在 每 一 个 具体 的 用 例 中 ， 而 更 像 是 一 个 检验 原则 ， 产 品 
业务 专 才 (参见 5.4.1 节 “测试 专家 角色 类 型 ”) 可 以 通过 场景 的 分 析 和 测试 结果 判断 业务 目标 是 否 达 成 。 


如 果 没有 这 样 的 专 才 ， 也 可 以 通过 设计 相应 的 体验 测试 和 场景 演示 ， 与 客户 或 需求 工程 师 确 认 业务 问题 是 否 解决 ， 商 业 目 的 
或 管理 目的 是 否 达 成 。 

通常 在 演示 活动 中 ， 给 客户 看 的 是 一 个 个 功能 界面 或 者 有 创新 的 功能 点 ， 这 样 的 演示 是 不 可 能 达成 “why” (业务 需求 ) 确 
认 的 目的 的 。 只 有 把 业务 场景 或 应 用 场景 完整 地 演示 出 来 ， 客 户 才能 将 产品 功能 代入 自己 的 工作 场景 ， 确 认 业务 需求 是 否 达成 。 


如 果 是 通过 业务 场景 和 应 用 场景 演示 的 方式 进行 业务 需求 确认 ， 需 要 注意 找 对 客户 。 如 果 演 示 对 象 是 客户 的 基层 员工 ， 他 们 
往往 天 注 的 是 操作 过 程 和 细节 ， 侧 重 体验 的 评估 。 只 有 演示 对 象 是 客户 的 各 层 管理 者 ， 才 会 天 注 业 务 、 运 营 、 管 理 目标 是 否 达 
成 。 

和 其 他 的 测试 活动 一 样 ， 业 务 场景 和 应 用 场景 测试 也 是 为 了 发 现 缺陷 ， 得 到 测试 数据 ; 也 需要 在 测试 完成 后 ， 根 据 测试 结果 
评估 产品 质量 。 
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发 现 缺陷 。 从 我 们 产品 的 项 目 交 付 经 验 看 ， 开 展 端 到 端的 场景 测试 除了 确认 业务 需求 是 
一 致 性 的 缺陷 。 

1) 功能 性 方面 的 典型 缺陷 ， 例 如 : 

. 业务 流程 。 特 定 状态 下 的 特定 环节 ， 流 程 没有 责任 人 或 责任 人 没有 处 理 权限 ， 导 致 流程 无 法 继续 处 理 和 关闭 。 不 同 环节 要 
求 用 户 进行 重复 的 操作 或 数据 录入 。 

. 运营 、 维 护 、 管 理 。 特 性 缺乏 必要 的 运营 和 管理 功能 。 一 般 而 言 ， 影 响 特性 可 管理 的 功能 ， 如 ， 业 务 处 理 质量 、 效 率 、 瓶 
颈 分 析 ; 相关 角色 KPI 数 据 提取 相关 的 报表 。 影 响 特 性 可 运营 的 功能 ， 如 ， 流 程 追 踪 和 回溯 (用 于 投诉 处 理 ) ; 业务 结果 核查 和 
审计 ; 业务 状态 查询 、 状 态 或 流程 回 滚 。 

2) 一 致 性 方面 的 典型 缺陷 ， 例 如 : 

. 数据 对 象 。 多 种 渠道 创建 的 同一 个 对 象 信息 完整 程度 不 一 致 ， 字 段 含义 有 偏差 ; 不同 功 能 对 同一 个 数据 对 象 或 参数 的 解释 
和 使 用 不 一 致 。 

. 角色 。 业 务 在 菜 环节 的 处 理 入 口 ， 与 责任 角色 的 其 他 任务 入 口 不 同 ( 例 如 ， 其 他 任务 在 移动 终端 上 有 操作 入 口 ， 在 等 待 处 


理 的 任务 中 有 提示 ， 而 新 增加 的 任务 没有 这 两 个 入 口 ) 。 业 务 在 茶 个 环节 ， 其 责任 角色 承担 的 职责 ， 与 该 角色 其 他 任务 的 职责 性 
质 不 同 (其 他 任务 都 是 事务 性 质 ， 新 增加 一 个 需要 专业 背景 的 审核 性 质 任务 ) 。 


概念 和 术语 。 不 同 功能 对 同一 个 术语 的 解释 和 使 用 不 一 致 。 

3) 性 能 稳定 性 方面 的 典型 缺陷 ， 例 如 : 

: 数据 对 象 。 部 分 场景 下 数据 对 象 未 销毁 ， 导 致 垃圾 数据 堆积 。 

: 状态 机 。 部 分 场景 下 状态 机 未 释放 ， 长 期 累积 导致 资源 占用 率 高 ， 性 能 下 降 。 

特性 质量 评估 。 根 据 静 态 测试 (需求 评审 ) 和 动态 测试 (业务 场景 和 应 用 场景 测试 ) 的 结果 ， 可 以 得 到 以 下 评估 结果 : 


. 遗漏 缺陷 。 主 要 的 遗留 缺陷 是 什么 ， 缺 陷 导 臻 哪些 场景 不 满足 上 线 应 用 的 需要 ， 哪 些 业务 需要 进行 后 续 的 管理 和 增强 运营 
功能 。 进 一 步 的 ， 根 据 遗 留 缺陷 的 触发 条 件 及 其 对 业务 造成 的 影响 ， 评 估 失 效 概率 、 失 效 影响 ， 得 出 遗留 缺陷 的 风险 评级 。 


. 商用 目标 达成 。 经 验 让 富 的 测试 工程 师 ， 可 以 尝试 理解 特性 需求 背后 的 商业 目的 、 管 理 逻 辑 、 经 营 理念 ， 这 样 就 能 评估 新 
特性 能 否 达成 客户 在 商业 、 内 部 管理 上 的 目标 ， 遗 留 缺陷 给 业务 需求 的 实现 带 来 了 什么 风险 。 当 然 ， 这 需要 测试 工程 师 学 习 企业 
经 营 和 管理 、 商 业 模式 、 盈 利 模式 方面 的 基本 知识 ， 但 这 不 能 作为 对 基层 测试 工程 师 的 要 求 。 


8.1.3 ”测试 保障 质量 的 三 个 层次 


代表 客户 测试 是 通过 参与 需求 评审 、 客 户 访谈 、 调 查 问卷 、 体 验 测试 、 特 性 演示 等 活动 获得 需求 的 5W1H 完 整 信息 ， 并 根据 
需求 开展 单个 操作 、 业 务 场景 、 应 用 场景 的 测试 。 其 目的 是 改善 需求 质量 ， 先 于 客户 发 现 业务 需求 、 用 户 需求 问题 ， 缩 短 从 需求 
提出 到 商用 的 周期 。 


代表 客户 测试 ， 是 在 测试 “拦截 缺陷 ”这 一 价值 的 基础 上 的 提升 ， 除 了 需要 具备 第 4 章 “拦截 缺陷 ”中 提 到 的 能 力 ， 还 需要 
掌握 如 下 能 力 : 


` 业务 场景 、 应 用 场景 测试 。 掌 握 场景 测试 分 析 的 方法 ， 如 ， 工 作 流 、 状 态 迁 移 、 数 据 对 象 CRUD 等 ， 以 及 对 应 的 履 盖 方 


法 。 这 是 开展 代表 客户 测试 的 必 备 能 力 。 


需求 分 析 。 需 求 5W1H 分 析 的 基本 过 程 、 方 法 和 技巧 。 这 些 知识 有 助 于 测试 工程 师 获 得 完整 的 需求 信息 ， 以 便 开 展 基 于 需 
求 的 测试 。 


` 领域 知识 。 熟 悉 产 品 所 处 业务 领域 的 概念 及 其 相关 功能 ， 掌 握 业 务 中 使 用 的 术语 ， 了 解 客 户 的 组 织 结构 、 产 品 用 户 的 角色 
和 职能 ， 这 些 知识 有 助 于 准确 理解 需求 ， 避 免 遇 到 术语 障碍 。 


` 产品 知识 。 了 解 产品 架构 ， 熟 悉 已 有 特性 的 使 用 方法 、 约 束 和 限制 ， 了 解 特性 测试 和 应 用 的 历史 问题 。 这 些 知识 有 助 于 寻 
找 参 照 特性 ， 将 已 经 实践 过 的 经 验 用 于 新 需求 。 


` 沟通 能 力 。 与 需求 工程 师 、 客 户 确认 需求 时 ， 需 要 较 好 的 沟通 能 力 。 
到 本 章 为 止 ， 共 介绍 了 测试 保障 质量 的 3 个 层次 ， 如 图 8-6 所 示 。 
质量 评估 层次 所 需 能 力 质量 评估 的 目的 
8.1 代 表 客 户 测试 需求 分 析 使 质量 符合 客户 期 望 
寺 性 应 用 场景 、 业 务 场景 测试 
品 架 构 、 特 性 使 用 限制 、 质 量 


Te 客户 信息 库 、 业 务 领 域 知识 
关口 质量 评估 
DFX 核 心 和 附加 指标 定义 、 测 试 
仿真 或 模拟 测试 ( 环境 搭建 、 测 试 执行 ) 
沟通 能 力 
4.1 测 试 结果 数据 功能 和 DFX 测 试 


缺陷 分 析 


风险 管理 


图 8-6 质量 保障 的 层次 
质量 保障 的 3 个 层次 是 : 


. 使 质量 符合 设计 要 求 。 这 是 最 基础 的 质量 保障 价值 ， 测 试 团队 依据 产品 的 需求 规格 、 设 计 规格 进行 测试 ， 拦 截 缺 陷 并 给 出 
产品 的 质量 评价 。 


* 使 质量 符合 客户 要 求 。 其 价值 是 提升 基本 型 需求 的 研发 质量 。 测 试 团队 依据 产品 的 软件 需求 、 用 户 需求 ， 以 及 客户 现 有 业 
务 的 使 用 情况 ， 进 行 仿真 或 模拟 测试 ， 从 容 户 视角 发 现 质量 的 问题 ， 并 进而 促进 研发 、 修 改 问 题 、 提 升 质量 。 


. 使 质量 符合 客户 期 望 。 其 价值 是 提升 期 望 型 、 兴 奋 性 需求 的 研发 质量 。 测 试 团队 依据 产品 的 用 户 需求 、 业 务 需 求 ， 进 行业 
务 场景 、 应 用 场景 的 仿真 或 模拟 测试 ， 演 示 或 体验 ， 发 现 与 客户 期 望 的 偏差 ， 并 进而 促进 需求 更 快 地 明确 ， 提 升 产品 质量 。 


对 于 项 目 型 的 产品 ， 新 特性 在 最 终 交 付 给 客户 使 用 前 ， 会 有 一 系列 产品 交付 的 相关 活动 ， 包 括 : 研发 过 程 中 的 客户 体验 测 
试 、 现 场 演示 、 产 品 验收 、 产 品 上 线 、 客 户 培训 等 。 其 中 ， 体 验 测试 、 现 场 演示 、 产 品 验收 很 多 时 候 是 由 研发 人 员 负 责 实施 的 。 


演示 和 体验 活动 一 方面 是 使 客户 建立 对 质量 和 进度 的 信心 ; 另 一 方面 是 与 客户 进一步 就 需求 达成 一 致 。 这 些 活动 所 用 的 产品 
版 本 很 可 能 尚 处 于 开发 阶段 ， 流 程 分 支 、 相 应 的 数据 管理 功能 可 能 都 不 具备 ， 主 流程 也 可 能 还 有 缺陷 。 产 品 交 付 专家 就 需要 在 这 
样 的 条 件 下 ， 绕 过 所 有 的 问题 和 陷阱 ， 确 保 业 务 演示 和 体验 顺畅 、 完 整 ， 达 成 预期 的 目标 。 


验收 活动 所 用 的 产品 版 本 一 般 是 正式 发 布 的 版 本 ， 但 这 并 不 代表 验收 过 程 会 一 帆 风 顺 。 验 收 过 程 中 一 方面 会 发 现 新 的 缺陷 ; 
另 一 方面 客户 会 根据 新 的 业务 流程 提出 新 的 需求 。 产 品 交付 专家 就 需要 在 这 些 时 候 ， 迅 速 甄别 客户 提出 的 是 需求 还 是 缺陷 ， 并 分 
别 进行 妥善 处 理 ， 确 保 验 收 活动 按 计划 达成 目标 。 


想 要 准确 地 甄别 和 处 理 问 题 ， 产 品 交付 专家 需要 深入 熟悉 产品 特性 ， 对 特性 的 使 用 方法 、 约 束 和 限制 、 存 在 的 陷阱 都 很 熟 
悉 ， 遇 到 环境 或 产品 问题 能 够 快速 定位 、 解 决 或 规避 。 测 试 工程 师 作 为 产品 的 第 一 个 用 户 ， 在 产品 测试 过 程 中 有 条 件 掌握 这 些 知 
识 和 技能 ， 因 此 ， 通 常 都 是 交付 活动 的 主要 执行 者 。 


【价值 体现 】 


产品 交付 专家 主导 完成 产品 交付 相关 活动 ， 按 计划 达成 活动 目标 。 


解决 的 典型 问题 如 : 由 于 环境 搭建 、 数 据 准 备 或 操作 错误 ， 导 致 演示 阻塞 甚至 中 断 ;验收 或 上 线 过 程 中 出 现 了 错误 ,但 未 能 
及 时 解决 或 厘清 责任 ,使 得 计划 延迟 ; 演示、 验收 、 上 线 等 活动 准备 不 充分 ， 过 程 和 任务 管理 混乱 ， 问 题 和 风险 未 有 效 跟 踪 导致 
计划 延迟 ， 项 目 风险 增加 ; 客户 体验 测试 、 演 示 、 验 收 过 程 中 未 能 有 效 引 导 新 增 需 求 ， 造 成 后 续 项 目 增加 不 必要 的 需求 分 析 和 澄 


产品 交付 专家 是 项 目 型 产品 的 测试 团队 的 重要 价值 之 一 ， 这 一 价值 是 测试 工程 师 解 决 问题 能 力 的 体现 ， 是 “乱世 ”里 出 的 英 
雄 。 当 产品 能 够 做 到 按 特 性 开发 ， 特 性 质量 控制 得 很 好 ， 在 演示 、 体 验 、 验 收 活动 中 很 少 遇 到 问题 时 ， 这 些 活动 一 般 是 由 市 场 和 
服务 部 门 主导 ， 自 然 也 就 不 需要 测试 工程 师 来 解决 问题 。 


【核心 工作 】 


产品 交付 的 活动 是 管理 与 技术 并 重 的 。 和 其 他 的 研发 活动 的 管理 工作 一 样 ， 产 品 交付 活动 也 包含 学 围 、 进 度 、 预 算 、 质 量 、 
人 力 、 问 题 和 风险 的 管理 和 沟通 。 技 术 方 面 ， 有 与 其 他 测试 一 样 的 活动 如， 设计 用 例 、 措 建 环 境 、 执 行 用 例 、 评 佑 结果 ; 也 有 
需求 沟通 方面 的 活动 ， 如 ， 陈 述 产品 实现 的 业务 流程 ， 客 户 关心 的 需求 在 产品 中 的 实现 ， 客 户 提出 的 新 需求 确认 等 。 


在 测试 相关 的 活动 中 ， 测 试 设 计 主 要 是 业务 场景 、 应 用 场景 的 测试 用 例 设 计 ， 这 部 分 内 容 参 见 8.1.2 节 “ 端 到 端 应 用 场景 测 
试 ”; 环境 搭建 和 用 例 执行 主要 是 仿真 或 模拟 测试 ， 这 部 分 内 容 参见 7.2.2 节 “客户 视角 的 产品 质量 评估 ”。 由 于 这 些 测 试 执行 
会 遇 到 环境 或 产品 问题 ， 因 此 需要 产品 交付 专家 额外 具备 问题 定 界 和 解决 的 能 力 。 


在 产品 交付 活动 中 ， 客 户 看 到 的 不 再 是 抽象 的 、 纸 面 上 的 需求 ， 而 是 具体 的 、 可 以 交互 的 特性 ， 这 时 客户 对 于 需求 肯定 会 有 
更 多 的 想法 。 因 此 ， 产 品 交付 专家 不 可 避免 地 需要 承担 起 部 分 的 需求 采集 和 澄清 工作 。 


管理 方面 ， 除 了 需要 把 活动 本 身 管理 好 ， 作 为 一 个 有 持续 改进 意识 的 产品 交付 专家 ， 可 以 在 活动 结束 后 采取 以 下 行动 : 


“主动 总 结 过 程 中 的 问题 和 经 验 ， 把 产品 交付 的 各 项 工作 加 以 规范 ， 填 补 这 方面 流程 和 规范 的 空白 (虽然 大 部 分 项 目 型 的 产 
品 都 有 演示 、 体 验 、 验 收 等 产品 交付 活动 ， 但 鲜 有 研发 团队 具备 这 些 活动 的 标准 流程 和 管理 规范 ) ， 把 后 续 项 目的 产品 交付 活动 


引 向 正轨 。 


" 对 活动 中 暴露 的 过 程 和 产品 问题 进行 回溯 和 分 析 ， 找 到 导致 这 些 问 题 的 产品 研发 过 程 或 产品 本 身 的 根 因 ， 并 推动 研发 团队 


重视 问题 、 实 施 改 进 。 


综 上 所 述 ， 产 品 交 付 专家 除了 能 够 做 好 测试 工作 、 管 好 产品 交付 活动 本 身 ， 还 需要 能 够 承担 需求 采集 的 部 分 工作 ， 有 比较 全 
面 的 问题 定 界 和 解决 问题 的 能 力 ， 最 好 还 能 够 制订 过 程 管理 和 活动 实施 流程 的 相关 规范 ， 推 动 研发 持续 改进 。 


【方法 和 工具 简 述 】 


当 产 品 不 满足 客户 对 功能 和 质量 的 要 求 的 时 候 ， 有 两 个 解决 思路 一 一 减少 问题 和 降低 问题 影响 ， 如 图 8-7 所 示 。 


全 
客户 问题 多 
NA 
人 了 全 


减少 问题 降低 问题 影响 


。 流程 : 尽早 开展 需求 验证 产品 交付 专家 
。 技术 一 一 

。DFX: 客户 视角 的 产品 质量 评 佑 

。 功 能 : 代表 客户 测试 


图 8-7 客户 问题 多 的 解决 思路 


当 产 品 在 交付 时 或 应 用 后 ， 由 客户 发 现 了 较 多 缺陷 ， 解 决 的 思路 有 两 种 。 一 种 思路 是 在 研发 阶段 尽 可 能 拦截 这 些 问题 。 可 以 
通过 流程 改进 ， 把 原来 集中 到 研发 最 后 阶段 做 的 事情 提前 ， 把 客户 问题 变 成 研发 中 间 发 现 的 问题 (参见 7.1.2 节 “测试 尽早 开 
展 : 尽早 开展 需求 验证 ”) 。 也 可 以 让 测试 人 员 使 用 客户 的 方法 评估 产品 ， 使 得 在 研发 过 程 中 就 能 够 纠正 问题 (参见 7.2.2 
节 “ 客 户 视角 的 产品 质量 评估 ”，8.1 节 “代表 客户 测试 ”) 。 这 一 类 方法 都 是 使 问题 提前 暴露 ， 在 产品 交付 使 用 的 时 候 问 题 已 
经 得 到 解决 ， 这 样 ， 交 付 活动 本 身 会 比较 顺利 ， 这 是 “治本 ”的 思路 ,需要 多 次 循环 、 不 断 积累 ， 因 而 落实 起 来 必定 漫长 。 

本 节 对 上 面 问题 的 思路 是 ， 承 认 产 品 到 了 交付 环节 还 是 有 一 些 问题 没有 解决 ， 测 试 人 员 作为 活动 的 责任 人 ， 需 要 及 时 地 就 问 
题 进行 解决 ， 一 方面 使 得 活动 有 序 开展 ， 让 客户 问题 不 至 于 影响 研发 进程 ; 一 方面 使 客户 对 产品 的 按 计 划 、 按 要 求 交 付 保 持 信 
心 。 这 是 “治标 ”的 思路 ， 需 要 活动 负责 人 有 很 强 的 个 人 技术 和 管理 综合 能 力 。 


~ 


8.2.1 “问题 定 界 和 解决 


在 产品 交付 相关 的 活动 ， 问 题 的 快速 定 界 、 定 位 和 解决 是 对 活动 责任 人 和 任务 执行 者 的 主要 挑战 之 一 ， 因 为 这 些 活动 的 时 间 
窗 都 很 有 限 ， 问 题 处 理 时 间 过 长 不 仅 使 计划 不 能 完成 ， 还 直接 打击 客户 对 产品 和 研发 团队 的 信心 。 


产品 交付 相关 的 演示 、 验 收 等 活动 使 用 的 都 是 完整 的 端 到 端的 业务 流程 ， 一 旦 出 现 问题 ， 首 先是 问题 的 定 界 ， 即 : 
“ 在 体验 测试 、 现 场 演示 、 客 户 培训 活动 中 ， 需 要 确定 出 问题 的 子 系统 、 模 块 。 
. 在 验收 和 上 线 测 试 中 ， 最 重要 的 是 在 客户 的 环境 中 ， 快 速 厘清 问题 归属 ， 找 到 责任 解决 问题 的 产品 。 


这 需要 执行 者 首先 是 本 产品 的 专家 ， 熟 悉 本 次 活动 涉及 的 所 有 特性 的 使 用 方法 、 约 束 、 限 制 、 遗 留 缺 陷 。 这 样 在 问题 发 生 
时 ， 能 够 对 问题 的 归属 和 发 生 原 因 有 一 个 初步 的 判断 。 


需要 具备 接口 跟踪 、 业 务 流程 跟踪 的 方法 和 工具 ， 熟 悉 业 务 在 产品 内 部 的 处 理 的 过 程 、 对 外 交互 的 流程 ， 以 及 各 内 外 部 接口 
的 消息 结构 、 主 要 数据 对 象 的 查询 方法 。 在 验收 和 上 线 测试 中 ， 还 需要 了 解 第 三 方 产品 的 接口 、 配 置 方法 、 数 据 和 业务 查询 操 
作 ， 这样 在 问题 发 生 时 才能 较 快 的 厘清 问题 的 责任 归属 。 


问题 定 界 之 后 ， 如 果 是 本 产品 的 问题 ， 执 行者 需要 在 尽 可 能 短 的 时 间 定 位 并 解决 问题 。 问 题 的 定位 一 般 是 通过 业务 流程 跟 
踪 、 业 务 日 志 分 析 或 者 调试 实现 的 。 定 位 以 后 的 问题 解决 ， 有 几 种 方式 : 


* 解决 。 如 果 是 数据 或 参数 配置 的 问题 ， 需 要 通过 修改 数据 设置 和 系统 配置 ， 或 手工 干预 业务 流程 及 其 输入 、 输 出 数据 等 方 
法 ， 更 正 数据 方面 的 问题 ， 使 调试 环境 和 业务 流程 恢复 正常 可 用 状态 。 


. 临时 解决 。 如 果 是 上 层 业务 或 表示 层 代码 的 缺陷 ， 由 于 代码 逻辑 一 般 较 简 单 ， 可 以 考虑 现场 修改 代码 ， 临 时 更 正 问题 ， 使 
后 续 工作 不 受 影响 。 


. 规避 解决 。 如 果 是 底层 平台 或 后 台 代码 的 缺陷 ， 则 需要 调整 操作 方法 暂时 绕 过 缺陷 ， 暂 时 屏蔽 缺陷 对 业务 的 影响 ， 使 主要 


的 操作 得 以 正常 进行 。 


在 实际 工作 中 ， 问 题 的 定 界 、 定 位 和 解决 不 仅 需 要 测试 工程 师 熟 悉 产品 本 身 ， 还 需要 熟悉 环境 中 的 物理 设备 、 操 作 系统 、 数 
据 库 、 其 他 第 三 方 产品 的 操作 。 


此 外 ， 间 题 的 定 界 、 定 位 不 仅 是 对 测试 工程 师 技术 能 力 的 考验 ， 更 是 对 产品 可 测试 性 能 力 的 考验 : 如 果 产 品 交 付 活动 中 ， 有 
大 量 非 代码 缺陷 的 问题 无 法 现场 定位 ， 必 须 由 研发 通过 调试 才能 确定 ， 那 就 需要 产品 增强 可 测试 性 能 力 。 典 型 的 ， 与 问题 的 定 
界 、 定 位 有 关 的 可 测试 性 能 力 常用 的 有 : 


` 跟踪 能 力 。 产 品 具备 对 业务 流程 的 操作 序列 、 数 据 库 操作 、 内 外 部 接口 等 的 跟踪 能 力 。 这 常常 是 问题 定 界 的 主要 信息 ， 尤 
其 是 在 验收 和 上 线 测 试 中 ， 如 果 无 法 说 明 产 品 从 第 三 方 接受 到 什么 数据 ， 做 了 什么 处 理 ， 很 多 时 候 仅 赁 外 在 表现 很 容易 出 现 问题 
责任 的 错 判 。 


* 过 程 记 录 。 产 品 能 够 提供 业务 处 理 过 程 的 详细 记录 ， 如 : 每 个 处 理 环节 的 输入 、 输 出 ;) 影响 分 支 走 向 的 过 程 数 据 或 计算 结 
果 ; 每 个 环节 对 数据 库 和 系统 资源 的 操作 及 其 参数 等 。 这 些 常常 是 问题 无 需 跟 踪 调 试 就 可 快速 定位 的 主要 手段 ， 但 是 这 些 记录 必 
须 经 过 精心 的 设计 ， 如 果 一 次 业务 操作 的 记录 太 多 、 记 录 的 信息 含义 不 明 ， 也 是 无 法 实现 快速 定位 的 。 


能 够 快速 地 将 问题 定位 并 和 解决， 这 是 产品 交付 活动 需要 测试 工程 师 的 主要 原因 之 一 ， 但 是 并 不 是 所 有 的 测试 工程 师 都 一 定 能 
养 成 这 个 能 力 。 我 曾经 见 过 一 些 测试 工程 师 ， 只 要 见 到 操作 的 返回 结果 和 用 例 不 一 致 ， 就 填写 缺陷 报告 ， 完 全 不 去 追究 出 现 这 个 
结果 的 原因 是 什么 ， 有 些 甚至 不 知道 这 个 用 例 使 用 的 预 置 数据 ， 是 通过 什么 操作 创建 和 修改 的 。 这 样 完成 测试 执行 工作 ， 即 使 工 
作 的 时 间 再 长 ， 也 不 可 能 具备 问题 定位 和 解决 的 能 力 。 而 另 一 些 测试 工程 师 ， 宁 可 测试 执行 做 得 慢 一 些 ， 也 要 查 清楚 出 现 错误 的 
前 因 后 果 ， 这 样 不 仅 能 减少 无 效 的 缺陷 报告 ， 也 能 够 更 深入 地 掌握 产品 特性 ， 培 养 解决 问 题 的 能 


虽然 产品 交付 专家 具备 很 好 的 问题 定位 和 解决 的 能 力 ， 但 是 如 果 定 位 问题 只 能 依靠 复杂 的 数据 库 查 询 、 接 口 拦截 等 外 部 操 
作 ， 也 会 使 客户 对 研发 的 能 力 、 产 品 的 质量 产生 质疑 。 因 此 ， 产 品 交 付 专家 可 以 考虑 以 交付 活动 中 的 问题 为 契机 ， 推 动产 品 可 测 
试 性 提升 。 


8.2.2 ”需求 采集 和 澄清 


在 客户 体验 测试 、 现 场 演示 、 产 品 验收 、 产 品 上 线 、 客 户 培训 等 产品 交付 相关 的 活动 中 ， 客 户 看 到 的 不 再 是 抽象 的 、 纸 面 上 
的 需求 ， 而 是 具体 的 、 可 以 操作 的 特性 。 有 时 候 ， 客 户 会 党 得 实物 与 之 前 预期 的 有 偏差 ， 有 时 候 ， 客 户 会 发 现 之 前 的 需求 存在 错 
误 、 遗 漏 的 情况 ， 有 时 候 ， 客 户 在 看 到 产品 的 实物 后 ， 发 现 正 困扰 他 的 另 一 个 问题 ， 也 可 以 从 类 似 的 角度 去 解决 。 总 之 ， 在 这 些 
活动 的 进行 过 程 中 ， 客 户 会 冒 出 很 多 的 想法 ， 他 们 也 不 会 因为 面 对 的 是 测试 工程 师 就 不 提出 这 些 想法 ， 而 且 ， 根 据 “ 首 问 负 
责 ” 的 原则 ， 客 户 也 会 希望 测试 工程 师 第 一 时 间 给 出 反馈 ， 或 者 在 确认 之 后 给 出 答复 。 


客户 提出 的 想法 有 些 是 研发 团队 希望 获得 的 、 能 够 带 来 利润 的 需求 ， 有 些 则 是 需要 避免 踏 入 的 “陷阱 ”， 比 如 ， 有 些 想法 一 
且 变 成 需求 就 需要 推翻 现 有 的 实现 方案 。 因 此 对 于 客户 提出 的 想法 ， 需 要 在 第 一 时 间 加 以 初步 甄别 ， 以 免 过 多 的 、 无 效 的 需求 流 
入 研发 ， 给 项 目 增加 不 必要 的 需求 分 析 和 澄清 工作 。 


客户 提出 的 新 想法 会 有 几 种 结论 


:新 需求 。 这 类 想法 ， 客 户 侧 有 明确 的 用 户 群 以 及 业务 目标 或 业务 问题 ， 并 且 产 品 侧 在 现 有 框架 下 能 够 实现 绝 大 部 分 的 主要 


功能 需求 ， 值 得 进一步 进行 需求 调研 和 分 析 。 


* 需要 引导 的 需求 。 这 类 想法 ， 客 户 侧 有 明确 的 用 户 群 以 及 业务 目标 或 业务 问题 ,但 产品 侧 在 现 有 架构 下 实现 主要 功能 需求 
有 难度 ， 或 者 有 其 他 项 目 用 另外 的 方式 解决 过 类 似 问 题 。 总 之 ， 业 务 需求 是 明确 的 ， 但 是 功能 需求 需要 加 以 引导 ， 找 到 客户 和 研 
发 团队 都 能 接受 的 业务 需求 实现 方案 。 


“ 已 经 实现 的 需求 。 这 类 想法 ， 客 户 的 业务 需求 由 版 本 的 其 他 特性 实现 ， 可 能 是 特性 尚未 完成 开发 ， 可 能 是 客户 对 产品 其 他 
特性 的 了 解 有 限 ， 也 可 能 是 已 有 特性 需要 新 增 或 修改 个 别 功能 ， 总 之 ， 这 类 想法 不 是 有 效 需求 ， 需 要 测试 工程 师 做 好 解释 澄清 工 
作 。 


: 不 切实 际 的 需求 。 这 类 想法 比较 理想 化 ， 和 客户 现 有 的 管理 、 运 营 方式 不 匹配 ， 没 有 明确 的 用 户 群 ， 即 使 作为 需求 实现 
了 ， 客 户 也 无 法 运营 和 使 用 。 或 者 这 类 想法 不 是 本 产品 和 覆盖 的 业务 范围 ， 产 品 所 处 的 业务 节点 没有 相应 的 数据 和 人 信息。 总之， 这 
类 想法 并 不 成 熟 ， 无 法 转换 为 可 实施 的 业务 需求 和 功能 需求 ， 测 试 工程 师 最 好 能 通过 早期 的 沟通 和 引导 ， 避 免 这 类 想法 变 为 需求 
流入 研发 。 


“ 非 需求 。 这 类 想法 是 对 特性 已 有 业务 场景 的 功能 、 体 验 、 人 安全 性 等 的 改进 意见 ， 这 些 意 见 严格 说 来 并 非 需求 ， 可 作为 问题 


进行 跟踪 处 理 。 需 要 注意 的 是 ， 这 类 想法 往往 见仁见智 ， 接 纳 修 改 需要 征 得 原始 的 需求 提出 者 的 确认 。 


识别 客户 的 想法 是 否 是 需求 ， 主 要 是 看 需求 的 why (业务 需求 ) 、what (功能 需求 ) 、who 信 息 是 否 能 明确 提出 来 (参见 
8.1.1 节 “需求 5SW1H 分 析 ”) ， 测 试 工程 师 初 步 淤 清 后 ， 认 为 可 能 是 新 需求 或 需要 引导 的 需求 时 ， 一 般 是 交 给 需求 工程 师 或 系 
统 工程 师 进行 进一步 的 分 析 和 沟通 。 


产品 交付 专家 首先 是 产品 业务 测试 专 才 或 者 跨 产品 业务 测试 专 才 ， 研 发 团队 如 果 缺 乏 这 类 人 才 ， 负 责 活动 中 用 例 执行 的 测试 
工程 师 不 熟悉 交付 活动 涉及 的 每 个 特性 、 每 个 业务 场景 和 项 目的 原始 需求 ， 就 不 可 能 杜 别 客户 的 想法 应 该 怎样 处 理 ， 也 就 不 可 能 
进行 需求 的 初步 采集 和 澄清 工作 。 


除 此 以 外 ， 产 品 交付 专家 需要 有 良好 的 沟通 能 力 ， 有 不 同 项 目的 交付 经 验 ， 掌 握 基 本 的 需求 采集 和 澄清 的 技巧 。 


8.2.3 ”项 目 管理 和 流程 制定 


产品 交付 相关 的 各 个 活动 ， 其 管理 难度 是 不 同 的 。 

体验 测试 、 现 场 演示 、 客 户 培训 等 活动 的 特点 是 : 

“ 周期 。 很 短 ， 一 般 是 一 两 天 ， 最 多 不 超过 一 周 ， 进 度 容易 控制 。 

. 人 力 。 参 与 人 员 相 对 较 少 ， 一 般 3 人 以 内 。 

. 计划 。 只 需要 安排 业务 流程 设计 、 测 试 执行 的 时 间 计 划 ， 落 实 环境 保障 、 故 障 快 速 排 除 的 责任 组 织 或 个 人 。 

. 范围 。 测 试 内 容 一 般 是 全 新 的 、 或 者 与 之 前 区 别 较 大 的 有 限 几 个 业务 流程 ， 用 于 确认 相关 业务 场景 和 功能 需求 。 
. 环境 。 一 般 是 使 用 产品 研发 的 现 有 环境 ， 或 者 专门 为 交付 活动 预 留 的 环境 。 

. 风险 。 这 些 活 动 一 般 会 通过 预演 事先 排除 问题 ， 风 险 比较 小 ， 过 程 中 使 用 问题 记录 表 进 行 跟踪 即 可 。 


如 果 活 动 的 进程 短 、 范 围 小 ， 则 进度 和 质量 比较 容易 保障 ， 因 此 ， 这 类 产品 交付 活动 作为 一 个 任务 进行 管理 即 可 ， 无 需 按 项 
目 管理 ， 用 一 个 操作 规范 或 者 检查 表 就 可 以 指导 活动 的 开展 ， 无 需 制订 相应 的 流程 和 管理 规范 。 


产品 验收 和 产品 上 线 等 活动 的 特点 是 : 


. 周期 。 较 长 ， 可 能 有 几 周 其 至 数 月 ， 期 间 还 可 能 受 设备 、 人 力 、 客 户 时 间 安 排 、 产 品 问题 等 因素 的 影响 ， 进 度 不 容易 控 
制 。 


让 

计划。 除了 测试 本 身 的 工作 ， 还 需要 计划 和 跟踪 设备 、 产 品 准备 情况 ， 根 据 测试 计划 和 进度 协调 客户 、 研 发 团队 和 第 三 方 
厂商 及 时 投入 人 力 。 

和 
完成 ， 质 量 符合 合同 约定 。 

- 环境 。 在 客户 的 场地 ， 新 建 或 利用 现 有 的 生产 环境 。 


. 风险 。 过 程 中 会 有 一 些 产 品 问 题 需要 记录 、 跟 踪 和 闭环 ， 也 会 有 环境 、 人 员 、 时 间 等 风险 需要 跟踪 、 管 理 。 


由 于 活动 进程 长 ， 涉 及 角色 多 ， 影 响 进度 和 质量 的 要 素 复 杂 ， 所 以 需要 具备 一 定 的 项 目 管理 能 力 才能 胜任 ， 同 时 ， 也 需要 一 
个 流程 来 明确 角色 职责 和 每 项 工作 的 质量 标准 ， 从 而 降低 进度 和 最 终结 果 的 不 确定 性 ， 保 障 在 规定 的 时 间 和 预算 学 围 内 容 完 成 工 
作 ， 并 达成 预计 的 质量 目标 。 


项 目 管理 包括 对 范围 、 时 间 、 成 本 、 质 量 、 人 力 资 源 、 沟 通 、 风 险 等 的 管理 ， 对 于 产品 验收 和 产品 上 线 活动 而 言 ， 除 了 人 力 
资源 和 团队 建设 可 以 不 必 过 多 关注 ， 其 他 管理 动作 都 需要 做 好 。 


范围 管理 上 ， 产 品 验收 和 上 线 虽 然 看 上 去 范围 明确 ， 但 在 实际 操作 过 程 中 ， 经 常 就 由 问题 的 确认 变 成 了 需求 的 讨论 ， 现 场 开 
发 和 确认 demo 业 务 的 也 不 在 少数 ， 为 了 确保 验收 和 上 线 的 计划 ， 必 须 及 时 引导 客户 把 需求 交 给 需求 工程 师 ， 并 继续 聚焦 测试 活 
动 。 


时 间 和 成 本 管理 上 ， 对 于 产品 验收 和 上 线 活动 ， 时 间 和 成 本 管理 都 围绕 测试 任务 的 安排 。 核 心 测试 任务 包括 : 业务 流程 、 运 
、 维 护 、 管 理 操作 、DFX 能 力 的 测试 设计 、 评 审 和 执行 。 其 他 强 相关 任务 包括 : 设备 到 位 和 检测 、 环 境 安装 和 调试 、 报 告 的 编 
写 、 评 审 和 审核 。 这 些 任 务 的 耗 时 和 先后 顺序 ， 决 定 了 活动 总 的 周期 、 需 要 的 角色 及 其 参与 时 间 。 将 同一 个 角色 的 测试 内 容 尽 量 
集中 ， 将 无 相互 干扰 的 测试 内 容 尽量 并 行 ， 将 需要 第 三 方 厂商 协同 的 测试 内 容 尽量 集中 ， 将 相互 依赖 的 测试 内 容 尽量 整合 ， 利 用 
这 些 方法 可 以 安排 出 更 紧凑 、 低 成 本 的 计划 。 另 一 方面 ， 紧 凑 的 计划 不 利于 适应 变化 ， 还 需要 根据 产品 的 质量 情况 ， 过 往 项 目 在 
设备 、 人 员 、 第 三 方 厂商 上 的 协调 难度 ， 安 排 好 缓冲 时 间 和 应 急 策略 。 


是 中 


质量 管理 上 ， 对 于 产品 验收 和 上 线 活动 主要 是 缺陷 管理 ， 包 括 缺 陷 的 报告 、 跟 踪 、 验 证 ， 以 及 事后 的 分 析 改 进 。 这 些 活 动 一 
般 不 需要 制订 质量 计划 。 


沟通 管理 对 于 产品 验收 和 上 线 活动 非常 重要 ， 其 中 最 重要 的 是 例 行 报告 。 交 付 相关 的 活动 涉及 产品 研发 、 客 户 、 第 三 方 软件 
厂商 、 设 备 商 等 多 方 利益 相干 人 ， 需 要 将 工作 的 进展 、 阶 段 成 果 、 间 题 、 风 险 、 变 更 、 成 本 (设备 和 人 员 投 入 ) 、 下 一 步 的 计 
划 、 求 助 信息 等 分 别传 达 给 这 些 利益 相干 人 。 这 个 周期 性 例 行 报告 ， 一 方面 是 通报 产品 质量 和 活动 进度 受 控 ， 以 建立 各 方 的 信 
心 ; 另 一 方面 是 及 时 求助 ， 以 获得 各 方 在 投入 上 的 支持 。 


除了 周期 性 例 行 报告 ， 还 要 为 缺陷 、 测 试用 例 执 行 记 录 和 结果 等 信息 建立 固定 的 传输 渠道 ， 保 证 参与 活动 的 基层 人 员 和 管理 
者 都 能 够 及 时 获取 详细 信息 。 


对 于 产品 验收 和 上 线 活动 ， 面 对 面 的 沟通 非常 重要 ， 各 方 主管 的 联席 会 议 将 会 对 重要 问题 的 及 时 决策 很 有 帮助 ， 同 时 日 常 问 
题 的 决策 也 应 该 有 相对 确定 的 责任 人 。 


交付 活动 比较 烦琐 ， 所 有 问题 不 能 都 依靠 例 行 报告 、 联 席 会 议 的 沟通 形式 解决 。 为 了 减少 不 必要 的 沟通 成 本 ， 为 设备 、 环 
境 、 测 试 执行 、 缺 陷 处 理 、 人 力 资源 投入 等 确定 责任 团队 和 具体 的 责任 人 ， 建 立 多 层次 、 随 时 沟通 的 渠道 是 很 有 必要 的 。 


在 我 们 的 研发 项 目 中 ， 产 品 验收 上 线 没有 形成 产品 线 统一 的 、 通 用 的 流程 ， 都 是 各 个 产品 根据 自己 产品 交付 和 客户 群 的 特 
点 ， 总 结 项 目的 经 验 自行 定义 的 。 这 个 流程 比较 轻 量 级 ， 包 含 : 环节 的 定义 ; 每 个 环节 出 入 口 和 活动 ;每 个 活动 的 责任 人 和 输出 
件 ; 重要 活动 的 指导 书 或 检查 表 ; 主要 输出 件 的 模板 和 质量 要 求 ; 缺陷 管理 的 IT 承载 。 一 般 不 包含 质量 的 策划 、 控 制 活动 ， 也 不 
考虑 对 内 控 、 考 核 的 支持 。 


在 这 里 定义 流程 的 主要 目标 是 指导 各 项 工作 ， 而 不 是 规范 各 项 工作 所 有 角色 的 行为 ， 因 此 ,测试 人 员 需 要 熟悉 流程 的 基本 要 
素 和 制定 要 求 ， 但 并 不 需要 为 交付 活动 定义 严密 的 、 重 量 级 的 流程 。 

产品 验收 和 上 线 的 流程 定义 和 活动 指导 ， 一 般 只 能 解决 本 环节 管理 方面 的 问题 ， 大 部 分 问题 需要 通过 研发 过 程 中 对 产品 、 研 
发 能 力 和 流程 的 改进 才能 彻底 解决 。 因 此 ， 产 品 交付 专家 还 需要 基于 交付 环节 的 客户 问题 分 析 ， 驱 动 研发 进行 改进 ， 改 进 的 思路 
和 方法 可 以 参见 7.1.2 节 “测试 尽早 开展 : 尽早 开展 需求 验证 ”，7.2.2 节 “客户 视角 的 产品 质量 评估 ”，8.1 节 “代表 客户 测 
试 ”。 


8.24 产品 交付 专家 的 能 力 模型 


产品 交付 专家 首先 是 产品 业务 测试 专 才 或 者 跨 产品 业务 测试 专 才 一 一 对 内 熟悉 产品 的 已 有 特性 及 其 业务 场景 、 原 始 需 求 ， 
以 及 配置 和 使 用 方法 、 约 束 、 限 制 、 遗 留 缺陷 ;对 外 熟悉 产品 应 用 的 行业 和 客户 。 有 丰富 的 产品 测试 经 验 ， 测 试 过 大 部 分 主要 的 
产品 特性 ， 也 能 完成 主要 测试 类 型 的 测试 执行 和 问题 分 析 。 


产品 交付 专家 的 能 力 模型 如 图 8-8 所 示 。 


问题 定 界 和 解决 


产品 业务 测试 专 才 
跨 产品 业务 测试 专 才 


图 8-8 产品 交付 专家 的 能 力 要 求 


业务 测试 专 才 在 主导 完成 产品 交付 相关 活动 时 ， 需 要 实现 按 进度 计划 达成 业务 目标 (通常 是 需求 确认 ) ， 这 需要 具备 以 下 能 
力 : 


. 具备 一 定 的 项 目 管理 能 力 ， 一 方面 对 项 目的 范围 、 时 间 、 成 本 、 风 险 等 进行 有 效 的 管理 ， 并 做 好 研发 、 客 户 、 第 三 方 软件 
厂商 、 设 备 商 等 多 方 利益 相干 人 的 沟通 和 协调 。 


掌握 基本 的 需求 采集 (不 是 分 析 、 建 模 ) 的 技巧 ， 一 方面 方便 与 客户 针对 需求 展开 确认 ， 男 一 方面 及 时 甄别 客户 提出 的 想 
法 是 否 应 作为 需求 继续 分 析 。 


* 掌握 环境 和 业务 问题 的 定 界 、 定 位 和 解决 方法 ， 及 时 解决 活动 中 出 现 的 问题 ， 避 免 因 突 发 问题 影响 活动 进度 。 


8.3 人 小结 


测试 工程 师 由 于 自身 工作 性 质 的 原因 ， 具 备 了 产品 演示 、 验 收 这 些 和 交付 相关 的 活动 所 需 的 技能 ， 也 常常 在 这 些 活动 中 承担 
主要 工作 ， 因 此 ， 测 试 价值 拓展 的 第 二 部 分 ， 介 绍 的 内 容 都 与 这 些 活 动 相关 : 


代表 客户 测试 的 本 质 是 基于 需求 的 测试 ， 但 是 研发 的 大 部 分 工作 是 围绕 设计 展开 的 ， 传 递 给 测试 的 需求 信息 既 不 完整 、 也 不 
及 时 。 因 此 ， 测 试 有 必要 了 解 完整 的 需求 应 该 包含 哪些 信息 ， 在 参与 项 目 交付 的 各 项 活动 中 ， 有 意识 地 将 需求 信息 尽 可 能 还 原 ， 
然后 再 辅 以 场景 测试 的 方法 ， 实 现代 表 客 户 对 产品 进行 基于 需求 的 测试 ， 提 前 发 现 产 品 应 用 中 的 问题 ， 减 少 交付 活动 遇 到 的 障 


但 D 


产品 交付 专家 是 在 危机 处 理 中 脱颖而出 的 英雄 ， 在 日 常 工作 遇 到 各 种 突 发 问题 时 ， 主 动 承 担 责任 ， 妥 善 解决 问题 ， 这 样 比较 
有 利于 锻炼 综合 能 力 ， 在 危机 出 现时 抓 住 机 会 。 


第 9 章 ”产品 测试 以 外 的 价值 
前 面 关于 测试 基础 价值 和 额外 价值 的 讨论 ， 都 是 围绕 产品 测试 展开 的 : 测试 团队 和 测试 工程 师 随 着 产品 的 研发 过 程 开展 工 
作 ,为 产品 的 质量 提升 提供 独特 的 价值 


本 章 讨论 的 价值 以 及 为 了 实现 价值 所 需要 做 的 工作 ， 则 不 一 定 完全 都 是 在 产品 研发 流程 中 开展 ， 工 作 的 目标 也 不 一 定 是 为 了 
提升 某 个 具体 产品 的 质量 。 


本 章 将 讨论 的 是 ， 驱 动 研发 改进 的 方法 和 技巧 ， 独 立 的 第 三 方 评估 的 业务 范围 等 。 


9.1 驱动 研 友 改进 
测试 工程 师 是 研发 团队 里 和 “问题 ”打交道 最 多 的 人 ， 产 品 缺 陷 大 部 分 是 通过 测试 发 现 的 ; 客户 问题 的 处 理 也 需要 测试 人 员 
参与 重 现 和 回归 。 上 此外， 测试 处 于 研发 的 下 游 环 节 ， 产 品 及 其 研发 流程 的 “问题 ”最 终 都 会 不 可 避免 地 给 测试 带 来 麻烦 。 


测试 人 员 看 到 的 问题 比较 全 ， 同 时 又 深 受 其 害 ， 因 此 ， 大 部 分 测试 团队 都 会 从 问题 出 发 ， 驱 动 研发 团队 进行 产品 质量 、 研 发 
能 力 或 者 研发 流程 的 改进 。 


这 个 活动 从 职责 定义 上 看 是 属于 QA 的 工作 范围 ， 但 是 大 部 分 的 QA 由 于 并 不 实际 参与 产品 的 设计 、 开 发 、 测 试 工作 ， 往 往 很 
难 及 时 、 准 确 地 发 现 问 题 。 因 此 ， 很 多 时 候 改 进 活动 由 测试 友 起 ，QA 参 与 措施 的 制订 ， 并 协助 改进 工作 的 推进 和 落实 。 


【价值 体现 】 


驱动 研发 改进 的 价值 在 于 ， 测 试 联合 研发 及 客户 的 相关 角色 ， 共 同 推动 研发 质量 、 改 进 效率 ， 使 产品 质量 、 交 付 效率 持续 提 
升 。 


研发 的 改进 有 些 是 主动 的 ， 比 如 采用 新 的 开发 环境 、 产 品 架 构 、 研 发 流程 等 ， 只 要 新 的 技术 和 工具 能 够 带 来 产品 及 其 研发 过 
程 的 质量 和 效率 的 提升 ， 研 发 团队 一 般 会 主动 尝试 。 有 些 改进 则 是 被 动 的 ， 比 如 客户 提高 了 性 能 要 求 、 扩 展 了 产品 覆盖 的 业务 范 
围 ， 或 者 产品 的 质量 问题 多 、 需 求 响应 速度 慢 引 起 了 客户 的 不 满 。 


由 测试 驱动 的 研发 改进 ， 往 往 以 产品 质量 和 需求 响应 速度 出 现 明显 问题 为 契机 。 
【核心 工作 】 


测试 通过 对 研发 缺陷 、 客 户 问题 、 产 品 线 上 运行 的 统计 数据 、 竞 品 分 析 、 行 业 技术 趋势 的 分 析 等 活动 ， 发 现 产 品 以 及 研发 流 
程 当前 在 质量 、 效 率 上 的 主要 矛盾 ， 发 现 技术 、 流 程 的 改进 机 会 点 。 无 论 测试 发 现 的 是 什么 机 会 点 ， 都 需要 开展 以 下 工作 : 


问题 分 析 及 制订 解决 方法 。 对 问题 进行 根 因 分 析 ， 找 到 导致 问题 的 直接 、 间 接 和 根本 原因 ， 并 针对 原因 找到 解决 方法 。 


* 说 服 利益 相干 人 投资 。 产 品 及 其 研发 过 程 的 大 部 分 质量 和 效率 问题 ， 都 无 法 通过 测试 单方 面 的 行动 得 到 彻底 改善 ， 测 试 人 
员 说 服 各 利益 相干 人 共同 行动 ， 才 能 达成 目标 。 


: 做 好 沟通 管理 。 在 改进 项 目 实施 的 过 程 中 ， 要 做 到 信息 及 时 披露 ， 让 利益 相干 人 看 到 进展 ， 在 实施 过 程 中 建立 达成 目标 的 


信心 。 


从 我 的 经 验 看 ， 大 部 分 测试 驱动 研发 改进 的 项 目 ， 最 困难 的 是 让 问题 和 解决 方法 具备 说 服 力 ， 从 而 顺利 得 到 研发 在 设备 和 人 


力 上 的 投资 。 其 次 ， 在 项 目 实施 过 程 中 ， 往 往 聚 焦 技 术 和 流程 改进 的 活动 本 身 ， 忽 略 了 和 利益 相干 人 的 沟通 ， 导 致 研发 实际 投资 
缩水 。 


9.1.1 问题 分 析 及 解决 方法 制定 


测试 驱动 研发 改进 ， 通 常 是 基于 问题 的 ， 包 括 : 缺陷 和 客户 问题 分 析 ， 研 发 质量 和 效率 问题 分 析 ， 产 品 在 线 统计 数据 分 析 ， 
况 品 和 行业 分 析 等 ， 通 过 这 些 分 析 找 到 研发 能 力 和 产品 质量 的 改进 方向 。 


测试 驱动 产品 质量 改进 。 测 试 实践 比较 多 的 是 驱动 产品 质量 改进 ， 有 产品 的 研发 团队 明确 提出 : 驱动 产品 DFX 质 量 提升 是 测 
试 的 主要 价值 之 一 。 在 7.2 节 “客户 视角 的 质量 评估 ”中 ， 已 经 介绍 了 通过 对 产品 的 应 用 场景 、 性 能 、 可 服务 性 、 可 靠 性 的 指标 
实测 和 况 品 分 析 ， 驱 动产 品 功能 和 DFX 质 量 提升 。 


在 产品 质量 上 ， 我 见 过 比较 具有 创见 性 的 实践 还 有 : 测试 驱动 产品 体验 的 提升 。 在 一 批 强 相关 的 特性 或 者 某 些 重点 特性 基本 
应 用 场景 可 用 后 ， 研 发 会 让 这 些 特性 在 正式 发 布 前 ,提前 “ 见 用 户 ” (互联 网 企业 比较 流行 的 沙 箱 、 灰 度 发 布 ; 传统 软件 项 目的 
beta 测 试 、 客 户 体验 测试 ， 这 些 都 是 提前 见 用 户 的 典型 方法 ) 。 测 试 在 参与 这 些 活动 的 时 候 ， 不 仅 要 设计 测试 内 容 ， 还 需要 设 
计 与 产品 的 使 用 效率 、 学 习 成 本 等 相关 的 数据 及 其 采集 方法 ， 并 在 产品 中 预 埋 数据 采集 的 能 力 。 在 活动 结束 后 ， 测 试 通过 对 数据 
的 分 析 ， 找 到 体验 的 问题 并 推动 质量 改进 。 


测试 驱动 研发 能 力 改进 。 本 书 前 面 章 节 已 经 介绍 过 的 实践 如 下 所 示 : 


: 从 分 析 缺 陷 和 客户 问题 总 结 得 到 的 测试 设计 要 素 清 单 ， 用 这 张 清单 可 以 帮助 改善 测试 的 设计 质量 ， 同 样 也 可 以 提升 软件 功 


能 性 设计 的 质量 。 参 见 3.2 节 “正常 使 用 中 部 分 出 错 ”。 
" 用 RBT 的 方法 使 设计 、 开 发 和 测试 活动 聚焦 高 风险 特性 ， 聚 焦 风 险 点 的 解决 ， 参 见 4.2 节 “风险 评估 数据 ”。 
通过 项 目 管 理 和 流程 制定 ， 改 善 交付 活动 的 质量 和 效率 ， 参 见 8.2 节 “产品 交付 专家 ”。 


问题 分 析 一 般 是 采用 根 因 分 析 法 (参见 3.2.5 节 “客户 问题 RCA 分 析 ”) ， 在 原因 分 析 过 程 中 ， 直 接 当事人 (例如 ， 特 性 的 
分 析 、 设 计 、 实 现 、 验 证 责任 人 ; 或 者 研发 流程 的 设计 、 开 发 、 测 试 主管 ) 的 原因 分 析 意 见 必 不 可 少 ， 切 忌 由 测试 人 员 包 办 根 因 
分 析 。 


分 析 网 上 问题 的 人 ， 经 常 遇 到 一 些 “ 低 级 ”问题 : 看 上 去 只 需 用 一 下 基本 功能 就 能 发 现 的 问题 为 什么 还 会 遗漏 ? 直觉 可 能 
是 : 没 做 测试 ”粗心 ”但 是 分 析 以 后 发 现 是 : 需求 不 明确 、 有 特定 触发 条 件 等 。 由 测试 人 员 去 分 析 研 发 其 他 环节 的 问题 ， 同 样 也 
会 有 这 种 直觉 判断 错误 。 在 改进 项 目的 问题 分 析 中 ， 经 常会 遇 到 这 一 情况 一 测试 人 员 根 据 自己 的 理解 完成 了 问题 分 析 ， 但 是 
研发 团队 其 他 角色 根本 不 认可 分 析 结 论 。 原 因 的 分 析 经 不 起 挑战 ， 自 然 也 就 无 法 推动 后 续 的 改进 行动 。 


当 要 求 分 析 、 设 计 、 开 发 人 员 实 施 能 力 改进 时 ， 尤 其 要 避免 测试 人 员 自 说 自 话 ， 如 ， 研 发 流程 、 软 件 分 析 和 设计 方法 、 研 发 
工具 、 知 识 管理 平台 、 产 品 信息 管 治平 台 等 。 最 好 是 由 测试 提出 问题 ， 质 量 部 站 在 全 流程 的 角度 上 评估 问题 的 严重 性 ， 并 组 织 各 
角色 分 析 问 题 ， 确 定 改进 措施 ， 最 后 组 织 实施 。 因 为 质量 部 看 护 的 是 研发 流程 的 整体 ， 对 产品 采用 的 开发 模式 比较 熟悉 ， 了 解 党 
见 的 、 流 行 的 研发 流程 、 开 发 模式 的 适用 条 件 、 要 求 、 关 键 活动 等 ， 因 而 能 够 更 准确 地 找到 责任 主体 ， 制 订 更 适合 现状 的 改进 措 
施 。 


在 研发 改进 项 目 中 ， 测 试 如 果 能 够 基于 已 有 的 成 果 开 展 工作 ， 将 会 事半功倍 。 常 见 的、 对 研发 改进 有 帮助 的 测试 成 果 包 括 : 


* 自动 化 。 基 本 功能 的 自动 化 用 例 集 执行 100% 通 过 ， 作 为 产品 发 布 的 门槛 条 件 ， 确 保 发 布 产品 的 基本 功能 正确 。 稳 定 、 易 
用 的 自动 化 工具 ， 可 以 帮助 开发 者 进行 功能 验证 ， 提 高 特性 开发 的 质量 。 


- 测试 用 例 。 将 基于 需求 的 业务 场景 、 应 用 场景 测试 用 例 作为 实例 化 需求 ， 提 升 需求 确认 的 效率 和 质量 ， 也 防止 开发 的 功能 
偏离 实际 需求 。 特 性 的 基本 功能 用 例 100% 执 行 通过 ， 作 为 开发 工程 师 提 交 特 性 的 门槛 条 件 ， 可 以 控制 研发 过 程 质量 ， 提 升 整 体 
效率 。 

- 工具 。 测 试 使 用 的 接口 驱动 、 业 务 处 理 流程 跟踪 分 析 、 产 品 运行 环境 监测 、 产 品 运行 数据 搜集 分 析 工 具 等 ， 很 多 情况 下 也 
可 以 改造 成 为 产品 运营 维护 可 以 使 用 的 工具 ， 提 升 产品 运营 维护 的 问题 定位 、 健 康 检 查 等 工作 的 效率 。 


9.1.2 ”让 问题 和 解决 方法 具备 说 服 力 
问题 分 析 、 解 决 方案 完成 后 ， 接 下 来 就 需要 说 服 研发 各 角色 共同 投入 后 续 的 改进 行动 。 


研发 改进 需要 研发 团队 进行 产品 研发 以 外 的 额外 投资 (设备 、 人 力 ) ， 想 要 获得 投资 就 需要 拿 出 有 说 服 力 的 证 据 ， 让 投资 者 
认同 接 下 来 的 行动 对 产品 研发 质量 和 效率 有 明确 的 、 长 期 的 帮助 。 

说 服 力 # 口 才 ， 靠 的 不 是 个 人 的 层 枪 舌战 ， 靠 的 是 问题 和 解决 方法 本 身 证 据 完整 、 逻 辑 清晰 。 面 对 研发 的 各 个 角色 陈述 问 
题 、 驱 动 改 进 时 ， 想 要 具有 说 服 力 ， 需 要 注意 以 下 几 个 基本 问题 : 


围绕 业务 问题 而 不 是 技术 。 通 常 ， 研 发 各 角色 对 业务 问题 的 认识 是 一 臻 的， 而 解决 方法 、 技 术 方案 的 选择 则 是 见仁见智 。 
以 问题 为 核心 更 容易 获得 有 价值 的 建议 ， 而 以 技术 为 核心 则 非常 容易 陷入 就 优 就 劣 的 争执 。 这 是 最 应 该 避免 的 。 


: 问题 背景 清晰 明了 。 背 景 信息 至 少 包括 : 问题 影响 、 问 题 的 原因 、 研 发 各 个 角色 做 过 的 努力 和 遇 到 的 困难 等 。 最 后 一 点 万 
其 重要 ， 很 多 改进 项 目的 陈述 在 最 初 的 5 分 钟 就 被 打 断 ， 就 是 因为 完全 没有 了 解 设计 、 开 发 团队 在 这 个 问题 上 曾经 做 过 的 努力 ， 
以 及 无 法 攻克 问题 的 原因 ， 因 而 大 家 也 就 不 相信 这 次 提出 的 方法 能 够 真正 落实 。 


器 | 


推论 的 证 据 链 严谨 。 采 取 的 措施 和 需要 解决 的 问题 之 间 要 有 明确 的 因果 关系 ， 如 果 只 有 因果 关系 ， 但 无 法 通过 定量 计算 确 
定 措施 对 问题 解决 的 重要 性 ， 那 么 需要 辅 以 业界 同行 的 经 验 数据 。 


` 对 问题 及 其 解决 方法 有 独特 且 具 启发 性 的 见解 。 这 是 引起 兴趣 ， 打 动 利益 相干 人 愿意 去 “ 试 一 试 ” 的 关键 。 研 发 能 力 和 产 
品质 量 长 期 存在 的 问题 ， 研 发 的 各 个 角色 都 是 知道 的 ， 如 果 在 问题 的 分 解 、 原 因 的 分 析 、 解 决 的 思路 、 使 用 的 技术 上 如 果 没有 独 
特 的 东西 ， 通 常 这 个 问题 也 无 法 被 很 好 地 解决 。 


. 逻辑 清晰 、 层 次 分 明 、 概 念 准确 。 这 是 为 了 让 听众 能 够 跟 上 陈述 者 的 思路 ， 理 解 内 容 、 抓 住 重点 和 关键 。 网 络 上 关于 PPT 
的 制作 技巧 ， 以 及 《金字 塔 原理 》 一 书 中 提 到 的 思路 和 方法 ， 都 可 以 很 好 地 解决 这 个 问题 。 


` 将 “自己 ”代入 问题 和 解决 方案 。 这 是 为 了 避免 找 不 到 “同盟 军 ”， 最 终 使 问题 不 了 了 之 。 需 要 全 面 陈述 问题 在 分 析 、 设 
计 、 开 发 和 测试 的 原因 ， 对 于 非 测 试 的 原因 ， 需 要 和 对 应 角色 的 主管 事先 沟通 ， 确 保 他 认可 、 也 能 够 解决 这 个 问题 。 测 试 人 员 自 
己 要 成 为 解决 问题 的 主力 之 一 ， 不 能 到 最 后 发 现 全 是 别人 的 问题 ， 或 者 全 是 别人 的 工作 。 


对 设计 、 开 发 、 测 试 等 研发 角色 的 说 服 工作 ， 并 不 是 在 解决 方案 定 下 来 以 后 ， 更 不 是 在 决策 会 议 上 才 去 做 的 。 说 服 工作 早 在 
问题 分 析 的 时 候 就 已 经 开始 了 ， 只 有 在 整个 问题 分 析 和 解决 方案 制定 过 程 中 ， 不 断 地 和 利益 相干 人 及 直接 当事人 讨论 、 确 认 和 澄 
清 ， 才 有 可 能 给 出 经 得 起 推敲 的 问题 分 析 结论 ， 以 及 可 行 、 有 效 的 解决 方案 。 


9.1.3 ”目标 制定 和 沟通 管理 


研发 改进 项 目 启 动 的 时 候 ， 需 要 设 定 可 度量 的 改进 目标 。 这 个 目标 可 能 是 关于 研发 的 质量 、 成 本 或 效率 的 ， 也 可 能 是 关于 客 
户 问 题 、 满 意 度 的 。 这 些 结果 性 目标 在 项 目 进 展 的 大 部 分 时 间 是 不 会 改善 的 ， 直 到 项 目 后 期 ， 项 目 成 果 开始 试点 和 应 用 ， 才 能 监 


测 这 些 数据 进行 对 比 。 因 此 ， 除 了 结果 性 目标 ， 还 需要 设 定 一 些 过程 性 目标 ， 这 些 过 程 性 目标 可 能 是 指标 数据 ， 也 可 能 是 某 个 工 
作 完 成 的 交付 件 。 在 项 目 开 发 过 程 中 ， 监 测 的 是 过 程 性 目标 ， 到 了 项 目 试点 和 应 用 时 ， 同 时 监测 过 程 性 目标 和 结果 性 目标 。 


在 6.3.2 节 “测试 在 流程 运转 中 该 不 该 挥舞 大 棒 ” 中 提 到 ， 当 想 要 推动 一 些 改进 活动 的 时 候 ， 先 找到 相应 的 指示 数据 ， 让 指 
示 数 据 配 合 着 推行 动作 一 起 进展 。 这 些 “ 指 示 数 据 ”就 是 “过 程 性 目标 ”的 数据 项 。 在 改进 项 目 开发 的 过 程 中 ， 指 示 数 据 是 作为 
阶段 目标 使 用 的 。 当 阶段 结束 后 ， 指 示 数 据 就 退场 ， 仅 仅 作 为 例 行 的 观察 数据 了 。 


例如 ， 研 发 想 要 改进 客户 验收 的 效率 ， 结 果 性 目标 是 : 将 首 轮 验收 测试 的 缺陷 数 下 降 70%， 周 期 缩短 50%。 
需要 开展 的 工作 包括 以 下 内 容 : 
: 优化 标准 的 客户 需求 说 明 书 模板 ， 对 客户 需求 的 内 容 要 素 进行 规范 。 


. 将 验收 测试 抽象 用 例 (只 包含 主要 操作 过 程 和 结果 判断 原则 ， 不 包含 具体 操作 和 测试 数据 ) 作为 实例 化 需求 固化 到 客户 需 
求 说 明 书 模板 。 

. 特性 代码 开发 完成 前 ， 准 备 好 完成 验收 用 例 和 基本 功能 用 例 的 自动 化 脚本 及 其 自动 化 执行 工具 ， 这 部 分 用 例 100% 执 行 通 
过 是 开发 工程 师 提 交 特 性 代码 的 必要 条 件 。 

. 验收 测试 前 ， 测 试 团队 需要 完成 仿真 的 验收 测试。 

相应 的 过 程 性 目标 ， 有 些 是 可 度量 的 指标 ， 例 如 : 提交 构建 通过 率 ， 提 交 构 建 对 新 增 修改 代码 的 覆盖 率 ， 研 发 测试 阶段 验收 
测试 用 例 通 过 率 等 。 有 些 不 是 指标 ， 而 是 工作 完成 的 交付 件 ， 例 如 : 完成 客户 需求 说 明 书 模板 制定 ， 完 成 基础 版 本 的 客户 需求 说 
明 书 〈 具 体 客 户 的 需求 说 明 书 在 此 基础 上 定制 ) ， 完 成 提交 构建 平台 对 自动 化 测试 工具 的 集成 等 。 


将 结果 性 目标 分 解 为 过 程 性 目标 ， 是 为 了 方便 在 项 目 过 程 中 进行 沟通 。 如 果 项 目 只 有 结果 性 目标 ， 在 项 目 过 程 中 将 很 难 用 数 
据 简洁 地 说 清楚 进展 ， 也 就 很 难 向 利益 相干 人 展现 问题 一 步 步 解决 的 过 程 。 


目标 确立 以 后 ， 在 项 目的 过 程 中 需要 通过 例 行 报告 、 阶 段 报告 、 项 目 例会 、 多 部 门 联席 会 议 等 形式 进行 项 目 内 外 部 的 沟通 。 
沟通 的 形式 和 频次 ， 也 是 在 项 目 启动 时 ， 作 为 项 目 计划 的 一 部 分 明确 下 来 的 。 例 行 报告 和 阶段 报告 主要 用 于 沟通 进展 ， 例 会 和 联 
会 议 主 要 用 于 进行 计划 和 目标 调整 、 方 案 选 择 ， 以 及 问题 和 风险 相关 的 决策 。 


沟通 进展 需要 包含 以 下 内 容 。 


* 目标 是 什么 。 主 要 包括 : 本 阶段 的 主要 过 程 性 目标 及 其 达成 情况 。 如 果 结 果 性 目标 取得 明显 进展 ， 则 以 结果 性 目标 及 其 进 
展 为 主要 内 容 。 不 要 觉得 报告 的 读者 都 已 经 知道 最 终 目标 和 阶段 目标 了 ， 事 实 上 很 多 领导 都 背负 太 多 职责 ， 不 一 定 还 记得 项 目的 


目标 和 当前 所 处 阶段 。 


. 已 经 做 到 了 哪 一 步 。 对 进展 进行 简短 的 总 结 ， 并 逐一 列 出 围绕 本 阶段 目标 的 所 有 工作 : 责任 人 、 完 成 标准 、 当 前 状态 、 当 
前 进展 、 当 前 的 问题 和 风险 及 其 解决 情况 。 一 项 工作 最 好 是 以 产生 的 应 用 结果 ， 而 不 是 以 交付 件 作 为 的 完成 标准 。 例 如 ，“ 客 户 
需求 说 明 书 模板 制定 ”这 项 工作 的 完成 标准 是 ， 模 板 评审 通过 ， 并 在 超过 3 个 交付 项 目 中 正式 使 用 。 而 不 是 完成 模板 制定 即 算 完 
成 。 

“ 下 一 步行 动 。 下 一 步 主要 工作 及 其 责任 人 、 完 成 标准 。 


与 测试 报告 一 样 ， 进 展 报告 最 好 也 遵循 金字 塔 原理 一 一 把 最 重要 的 进展 、 最 主要 的 问题 和 困难 、 最 有 帮助 的 外 部 支持 放 在 
最 开始 的 位 置 ， 然 后 是 得 出 的 详细 的 目标 及 其 工作 进展 。 


9.2 ”独立 的 第 三 方 评估 


对 于 测试 的 价值 ， 有 一 位 测试 经 理 的 观点 很 “激烈 ”， 但 也 切中 要 害 : 测试 的 价值 ， 就 是 如 果 把 现在 测试 团队 的 工作 包装 成 
产品 或 者 服务 的 话 ， 能 卖 出 多 少 钱 ? 这 个 问题 目前 很 难 找到 答案 ， 因 为 占 大 部 分 工作 量 的 功能 和 性 能 测试 ， 很 难 找到 相应 的 测试 
服务 供应 商 。 


目前 ， 把 测试 做 成 服务 大 概 有 以 下 几 种 : 


认证。 客户 自 身 或 者 客户 所 处 的 行业 ， 国 家 对 其 有 特殊 要 求 ， 产 品 销售 给 这 些 客 户 必须 经 过 指定 认证 机 构 的 测试 和 认证 ， 


并 获得 相应 的 资质 ， 这 些 认证 大 部 分 与 安全 、 设 备 规范 有 关 。 


“ 设备 成 本 高 昂 的 测试 。 有 些 测试 并 不 经 常 做 ， 但 是 做 一 次 测试 需要 大 量 的 设备 ， 这 种 情况 多 数 出 现在 兼容 性 测试 、 互 操作 
性 测试 上 。 例 如 ， 移 动 APP 对 手机 的 兼容 性 测试 ， 需 要 测试 环境 中 有 市 面 上 全 部 的 主流 移动 终端 ， 当 有 新 机 发 布 时 ， 测 试 环境 也 
需要 同步 部 署 。 对 于 一 个 APP 开 发 团队 ， 这 样 的 测试 环境 投资 是 无 法 维持 的 。 这 种 情况 下 ， 就 可 以 向 提供 APP 测 试 云 平 台 的 团队 
(内 部 服务 ) 或 者 公司 (外 部 服务 ) 购买 兼容 性 测试 服务 。 

-人力 成 本 高 昂 的 测试 。 有 些 测 试想 要 做 好 ， 需 要 较 高 的 专业 技术 能 力 ， 需 要 测试 工程 师 具 备 丰 富 的 实践 经 验 ， 这 种 情况 多 
数 出 现在 专项 测试 上 。 例 如 ， 安 全 性 测试 ， 涉 及 了 合 规 、 漏 洞 保护 、 敏 感 信 息 保 护 、 安 全 攻击 等 多 个 层面 ， 需 要 储备 大 量 的 安全 
性 专业 的 知识 、 方 法 和 工具 ， 测 试 工程 师 需 要 3 年 以 上 专注 于 安全 测试 才能 胜任 。 主 业务 是 产品 功能 和 性 能 测试 的 产品 测试 团 
队 ， 并 没有 持续 的 安全 性 测试 的 工作 安排 ， 也 就 无 法 提供 安全 性 测试 专家 的 成 长 环境 。 这 种 情况 下 ， 就 可 以 向 提供 安全 测试 服务 


的 团队 (内 部 服务 ) 或 者 公司 (外 部 服务 ) 购买 测试 服务 。 类 似 的 还 有 体验 (可 用 性 ) 测试 、 可 靠 性 测试 、 协 议 一 致 性 测试 等 。 


第 三 方 评估 可 以 向 第 三 方 公司 购买 ， 在 某 些 大 型 的 软件 公司 中 ， 还 存在 专门 的 第 三 方 测试 团队 ， 这 个 团队 的 职责 是 对 产品 进 
客 


行 专项 评估 ， 降 低产 品 商用 的 风险 。 例 如 ， 安 全 性 测试 团队 ， 帮 助 产 品 完成 安全 性 评估 和 整改 后 ， 产 品 就 能 够 比较 顺利 地 通过 
户 所 需要 的 安全 认证 。 体 验 测试 团队 ， 帮 助 产品 完成 可 用 性 评估 和 提升 后 ， 产 品 上 线 应 用 后 用 户 竺 性 降低 的 风险 较 小 。 


9.3 ”小结 
从 问题 出 发 驱动 研发 改进 ， 这 一 价值 的 范围 比较 宽泛 ， 随 着 推动 解决 的 问题 不 同 ， 需 要 的 技术 能 力也 不 同 ， 但 也 有 共同 的 基 
础 能 力 : 问题 分 析 (RCA) 、 项 目 管理 和 说 服 力 。 


说 服 力 是 测试 工程 师 常 常 需要 使 用 的 能 力 ， 典 型 的 就 是 推动 问题 解决 和 报告 缺陷 。 说 服 力 的 重点 不 是 锻炼 口才 ， 而 是 锻炼 有 
效 的 倾听 、 清 晰 的 逻辑 。 


独立 的 第 三 方 评估 并 非 测试 团队 常见 的 价值 ， 了 解 即 可 。 


第 10 草 ”测试 拓展 价值 忌 结 


前 面 3 个 章节 介绍 了 测试 可 以 寻求 价值 突破 的 方向 ， 以 及 需要 的 方法 和 能 


本 章 将 对 这 些 突破 方向 进行 梳理 ， 以 帮助 读者 掌握 测试 价值 突破 的 思路 。 


此 外 ， 本 章 也 将 测试 拓展 价值 实现 中 介绍 到 的 技术 相关 内 容 ， 汇 总 整理 成 为 测试 架构 ， 帮 助 读者 形成 更 完整 的 、 更 具 结构 性 
的 视图 。 


10.1 测试 的 拓展 价值 


测试 团队 和 测试 工程 师 在 日 常 工作 中 积累 了 丰富 的 产品 、 客 户 以 及 测试 的 知识 及 能 力 ， 以 这 些 既 有 的 能 力 和 知识 为 基础 ， 测 
试 人 员 还 可 以 在 产品 研发 和 服务 中 发 挥 更 多 的 价值 ， 这 一 部 分 介绍 了 常见 的 4 类 价值 ， 如 图 10-1 所 示 。 


效率 


1) 全 流程 质量 保障 (效率 ) 。 在 IPD 流 程 下 开展 全 程 软件 测试 。 做 的 是 质量 工作 ， 受 益 的 主要 是 效率 (并 没有 额外 的 降低 
缺陷 的 技术 手段 ， 因 此 质量 方面 的 受益 在 其 次 ) 。 主 要 是 通过 提前 测试 ， 实 现 研发 内 部 的 效率 改进 。 


2) 客户 视角 的 质量 评估 (质量 ) 。 除 了 常规 的 测试 ， 还 用 客户 的 方法 发 现 缺陷 ， 因 此 产品 交付 到 客户 手 上 缺陷 减少 ， 产 品 
质量 提升 。 工 作 的 侧重 点 是 让 测试 的 数据 和 结论 被 客户 认可 和 信任 ， 倒 通 研 发 重视 测试 的 结果 ， 所 以 ， 客 户 视角 的 测试 是 手段 ， 


目的 是 研发 改进 。 


3) 代表 客户 测试 (质量 ) 。 同 样 也 是 除了 常规 的 测试 ， 还 用 客户 的 方法 发 现 缺陷 ， 提 升 产品 质量 。 工 作 的 侧重 点 是 利用 需 
求 的 完整 信息 ， 开 展 基 于 需求 的 测试 ， 发 现 特性 到 客户 使 用 那里 会 遇 到 的 缺陷 ， 提 前 弥补 漏洞 ， 最 终 目 的 是 缩短 从 需求 提出 到 可 
以 商用 的 周期 ， 即 缩短 产品 交付 给 客户 使 用 的 周期 。 


4) 产品 交付 专家 (效率) 。 见 招 拆 招 ， 让 产品 交付 活动 (客户 体 验 测试 、 现 场 演示 、 产 品 验收 、 产 品 上 线 、 客 户 培训 ) 尽 
量 不 被 阻塞 ， 顺 畅 、 高 效 地 开展 。 
实现 这 4 类 价值 所 需 开 展 的 工作 和 对 应 的 技术 ， 汇 总 在 表 10-1 中 。 


表 10-1 质量 屏障 与 产品 交付 相关 价值 的 关键 技术 


核心 工作 技 术 


全 程 软件 测试 : 需 


产品 质量 屏 障 


产品 交付 先锋 


系统 的 质量 评估 


代表 客户 测试 


产品 交付 专家 


将 产品 质量 约束 在 
可 控 范 围 内 ， 防 止 产 
品 研 发 过 程 中 、 产 品 
演进 发 展 过 程 中 质量 


逐步 劣化 


使 产品 团队 对 产品 
质量 有 准确 的 认 知 ， 质 
量 评估 结论 和 客户 对 产 
品 的 质量 感知 一 致 


帮助 研发 团队 做 出 
“有 用 ”的 特性 


主导 完成 产品 交付 


相关 活动 ， 达 成 相关 
的 计划 和 目标 


纠正 信息 传递 失真 ， 
约束 研发 过 程 质量 ， 


识别 和 管理 风险 


过 程 质量 评估 ， 产 品 


质量 评估 ， 竞 品 分析 


需求 SW1H 分 析 ， 端 
到 端 应 用 场景 测试 


项 目 管理 和 流程 制 
定 ， 需 求 分析 ， 问 题 
定 界 和 解决 


求 和 设计 评审 ; 

尽早 开展 动态 测试 : 
按 特性 测试 ; 

新 代码 快速 、 充 分 
验证 : 快速 测试 ; 

老 代码 持续 验证 : 自 
动 化 测试 和 持续 集成 
产品 质量 评估 : 客 
户 信息 库 ; 模拟 测试 


需求 的 5W1H 模型 ， 
端 到 端 应 用 场景 测试 
设计 

交付 活动 的 管理 要 
点 ， 流 程 基本 要 求 ， 
需求 引导 ， 问 题 定 界 、 
定位 和 解决 


这 里 所 描述 的 每 个 价值 点 ， 除 了 测试 能 力 需要 提升 ， 研 发 也 需要 在 开发 模式 、 需 求 质量 、 产 品 信息 管理 等 方面 做 出 相应 的 提 
升 和 调整 ， 所 以 ， 这 些 不 是 单单 依靠 测试 团队 自身 就 能 实现 的 价值 ， 需 要 测试 团队 从 问题 出 发 ， 推 动 研发 团队 一 起 行动 ， 共 同 做 


出 一 些 改变 。 


10.2 支持 拓展 价值 实现 的 测试 架构 


在 6.2 节 “支持 基本 价值 实现 的 测试 架构 ”中 ， 列 出 了 测试 架构 的 基本 构成 组 件 ， 在 这 个 架构 中 ， 每 个 组 件 相 对 独立 ， 满 足 
每 个 独立 的 测试 活动 的 需要 。 


在 本 节 ， 测 试 架构 的 组 件 需要 进行 集成 ， 满 足 研发 提升 质量 和 效率 、 降 低 成 本 的 需要 。 集 成 的 方案 是 多 种 多 样 的 ， 取 决 于 想 


要 解决 的 问题 、 期 望 达 成 的 目标 、 预 计 的 工作 场景 。 这 里 只 针对 第 7 章 、 第 8 章 的 价值 实现 ， 选 择 两 个 有 代表 性 的 目标 ， 介 绍 组 
件 集 成 方案 


10.2.1 基于 需求 测试 的 测试 架构 

测试 架构 支持 的 改进 目标 : 需求 实现 的 准确 、 完 整 ， 交 付 用 户 使 用 后 的 一 段 时 期 内 ， 针 对 既 有 特性 的 改进 、 返 工 都 很 少 。 用 
户 使 用 中 发 现 缺 陷 的 数量 和 级 别 符合 质量 要 求 。 

基于 需求 进行 测试 ， 需 要 测试 架构 具备 以 下 特性 : 


需求 完整 。 除 了 需求 本 身 的 5W1H 信 息 ， 需 求 的 合同 原文 、 应 用 场景 、 责 任 角色 、 组 网 、 历 史 缺 陷 、 技 术 风险 等 背景 信息 


需求 透明 传递 。 需 求 在 产品 内 的 实现 方案 ， 产 品 的 实现 方案 和 客户 期 望 的 应 用 场景 之 间 的 差异 点 ， 方 案 的 使 用 约束 ， 对 原 
有 特性 或 产品 功能 的 改造 点 和 影响 面 ， 这 些 在 研发 团队 分 析 、 设 计 、 实 现 、 验 证 等 各 个 角色 之 间 实 现 透明 传递 。 测 试 围绕 需求 开 
展 端 到 端 应 用 场景 测试 、 业 务 场景 测试 ， 以 及 其 他 功能 和 DEFX 测 试 。 


需求 变更 同步 。 测 试 可 以 通过 产品 信息 管 治平 台 ， 在 第 一 时 间 获 得 需求 和 实现 方案 的 变更 信息 。 一 方面 更 新 相关 的 应 用 场 
景 和 业务 场景 测试 模型 ， 从 而 使 测试 用 例 和 需求 保持 同步 ; 另 一 方面 通过 设计 方案 、 接 口 、 数 据 对 象 或 代码 ， 找 到 受 变更 影响 的 
其 他 特性 的 用 例 ， 使 用 两 部 分 用 例 对 变更 后 的 需求 及 其 影响 进行 验证 。 


. 实例 化 需求 。 包 含 端 到 端 应 用 场景 基本 用 例 的 验收 用 例 ， 成 为 与 客户 签订 的 正式 需求 的 一 部 分 ， 产 品 研发 人 员 和 客户 通过 
验收 用 例 评审 对 需求 的 应 用 实例 达成 一 致 。 研 发 过 程 中 如 果 发 生 需求 变更 ， 验 收 用 例 也 要 同步 修改 。 在 客户 对 产品 的 体验 测试 、 
验收 测试 中 均 使 用 这 些 验收 用 例 。 


* 商用 评估 。 特 性 完成 开发 后 得 到 完整 的 验证 ， 除 了 功能 测试 、 性 能 和 DFX 测 试 外 ， 还 包括 客户 的 体验 测试 、 业 务 场景 测 
试 、 应 用 场景 测试 。 最 终 给 出 的 产品 是 否 上 线 商用 的 结论 ， 包 含 : 功能 是 否 正确 ; 性 能 、 可 靠 性 、 可 服务 性 指标 ;是否 可 运营 、 
可 管理 、 可 维护 ; 用 户 体验 如 何 ; 经 历 安 全 攻击 是 否 会 造成 用 户 经 济 损失 或 关键 信息 泄露 等 。 


基于 需求 测试 的 测试 架构 ， 如 图 10-2 所 示 。 


测试 者 视图 


需求 和 设计 评审 | | 测试 建 模 和 测试 设计 | | 测试 执行 和 自动 化 


测试 用 例 管理 和 
执行 工具 


本 测试 资产 库 加 


图 10-2 ”基于 需求 测试 的 集成 方案 示意 图 
这 是 以 需求 为 核心 的 集成 方案 ， 主 要 是 需求 管理 IT 系统 将 需求 的 全 部 信息 进行 整合 ， 这 些 信息 包括 以 下 内 容 。 
需求 的 分 析 、 设 计 和 开发 ， 包 括 : 说 明 书 和 设计 文档 、 模 型 ， 需 求实 现 的 代码 等 ， 这 些 内 容 来 自 产品 配置 库 。 
需求 的 测试 ， 包 括 : 需求 的 测试 方案 、 模 型 、 用 例 、 用 例 执行 结果 等 ， 这 些 内 容 来 自 测 试 配置 库 。 


需求 的 背景 ， 包 括 : 应 用 场景 、 责 任 角色 、 业 务 问题 、 组 网 等 ， 这 些 内 容 来 自 客户 信息 库 。 历 史 缺 陷 、 同 类 需求 等 ， 这 些 
内 容 来 自 测试 资产 库 。 合 同 原文 、 验 收 用 例 等 ， 这 些 内 容 来 自 客户 信息 库 。 风 险 、 客 户 问题 ， 这 些 内 容 来 自 风险 管理 系统 。 


测试 的 各 项 活动 中 需求 信息 都 是 必 不 可 少 的 ， 需 求 管理 的 上 T 系 统 将 各 种 来 源 的 需求 相关 信息 进行 整合 ， 测 试 工程 师 不 仪 可 以 
获得 完整 的 信息 ， 还 可 以 在 需求 变更 时 及 时 得 到 通知 。 测 试 的 各 项 活动 中 需要 各 种 需求 信息 ， 例 如 


. 需求 和 设计 评审 。 与 需求 相关 的 分 析 和 设计 文档 、 背 景 信息 ， 用 于 评审 时 参考 。 
. 测试 分 析 和 设计 。 与 需求 相关 的 分 析 和 设计 文档 、 背 景 信息 ， 作 为 测试 设计 的 输入 。 采 用 MBT 进 行 测试 设计 时 ， 测 试 分 
析 和 设计 工具 可 以 读 取 需 求 的 设计 模型 作为 测试 模型 的 基础 。 


. 测试 执行 和 自动 化 。 需 求 的 测试 信息 ， 作 为 测试 执行 的 输入 。 实 现 工具 化 或 自动 化 测试 时 ， 测 试 执行 或 自动 化 工具 可 以 读 
取 测 试用 例文 本 ， 并 在 工具 上 直接 对 用 例 进行 管理 和 操作 。 组 网 信息 用 于 环境 的 搭建 和 配置 ， 实 现 自动 化 环境 搭建 时 ， 环 境 搭 奸 
工具 可 以 读 取 组 网 信息 ， 自 动 完成 配置 或 数据 准备 。 在 判断 是 否 存在 缺陷 时 ， 可 能 会 参考 合同 原文 、 历 史 缺 陷 、 业 务 问 题 、 风 
险 、 客 户 问题 等 。 

. 质量 评估 。 质 量 管理 IT 系统 给 出 的 数据 ， 每 个 需求 的 测试 执行 结果 和 其 他 质量 数据 ， 这 些 是 进行 商用 评估 最 主要 的 信息 。 
此 外 ， 还 需要 需求 相关 的 合同 原文 、 需 求 分 析 和 设计 、 风 险 等 信息 作为 评估 时 的 对 照 。 


10.2.2 ”缺陷 快速 修复 的 测试 架构 


测试 架构 支持 的 改进 目标 : 缺陷 修复 高 效 、 准 确 ， 缺 陷 一 次 性 修复 完成 ， 修 改 代码 不 带 来 新 的 问题 。 


经 验 


* 缺陷 定位 信息 


日 志 
合 、 


数据 显示 ， 缺 陷 的 定位 修复 差不多 占 开发 工作 量 的 一 半 ， 因 此 ， 提 升 缺陷 修复 的 效率 和 质量 ， 是 提升 研发 效率 的 手段 之 


缺陷 快速 修复 ， 需 要 测试 架构 具备 以 下 特性 : 
等 。 测 试 工具 记录 的 信息 包括 追溯 操作 过 程 和 操作 数据 ， 接 口交 互 过 程 、 用 户 数据 变化 过 程 等 。 这 些 人 


环境 数据 、 用 户 数 据 ， 
信息 按 用 例 或 者 缺陷 整 


够 从 测试 用 例 集 中 


Lb 
~ 有 EE 


整 。 缺 陷 定 位 信息 来 自 产品 和 测试 工具 ， 产 品 记 录 的 定位 信息 包括 代码 运行 轨迹 


EE 够 得 到 符合 特性 需要 的 测试 环境 ,环境 的 配置 、 用 户 数据 也 按 特 


息 完 
高 相关 性 测试 用 例 挑选 。 存 在 缺陷 的 代码 修改 完成 后 ， 除 了 执行 根据 修改 代码 新 设计 的 测试 用 例 ， 还 


要 及 时 评估 缺陷 带 来 的 所 有 问题 是 否 都 已 解决 ， 修 改 代码 对 本 特性 或 其 


关联 ， 使 缺陷 定位 有 据 可 依 ， 而 不 是 靠 代码 调试 和 试 错 。 
自动 挑选 与 修改 代码 相关 的 用 例 。 这 样 才 能 比较 全 面 地 上 履 盖 修改 代码 ， 及 其 运行 上 下 文 。 
造成 意外 的 影响 。 需 要 执行 的 测试 用 例 少 则 十 几 或 几 十 ， 多 则 上 千 ， 只 


全 
性 要 求 准备 就 绪 。 只 有 很 少 的 开发 工程 师 具 备 熟 练 的 环境 搭建 和 调试 能 力 ， 因 此 ， 想 要 开发 工程 师 在 缺陷 修改 完成 后 进行 基本 功 


测试 环境 快速 获取 。 代 码 修改 完成 、 用 例 准 备 就 绪 后 ， 
是 否 主 


能 的 黑金 验证 ， 必 须 解 决 环境 获取 的 问题 。 
自动 化 测试 。 修 改 的 代码 合并 到 产品 版 本 中 后 ， 
修改 代码 对 产品 的 性 能 是 
测试 者 视图 
缺陷 回归 测试 


测试 用 例 管理 
和 执行 工具 


编码 和 调试 工具 
oe 构建 和 持续 集成 工具 


他 特性 是 否 产 生意 外 的 影响 
有 自动 化 测试 才能 在 规定 的 时 间 内 完成 验证 。 
是 交代 


缺陷 快速 修复 的 测试 架构 ， 如 图 10-3 所 示 。 
开发 者 视图 
开发 者 测试 
缺陷 管理 


bm 
月 yb 


图 10-3 ”缺陷 快速 修复 的 集成 方案 


为 了 高 效 地 修复 缺陷 ， 集 成 方案 需要 进行 IT 系统 和 工具 的 集成 ， 以 支持 以 下 开发 和 测试 工作 。 
1) 缺陷 定位 。 要 求 绝 大 部 分 缺陷 不 需要 重 现 问题 ， 只 需要 根据 用 例 执行 的 过 程 记录 就 


备 以 下 功能 : 
测试 用 例 管理 和 执行 工具 


成 缺陷 的 定位 。 集 成 工具 需要 具 


将 用 例 执行 过 程 中 产生 的 、 由 产品 和 测试 工具 记录 的 全 部 定位 信息 (如 代码 运行 轨迹 、 用 户 


数据 ， 日 志 、 操 作 过 程 、 接 口交 互 过 程 等 ) ， 按 用 例 集 中 存档 ， 作 为 测试 用 例 的 执行 过 程 记 录 。 


.编码 和 调试 工具 一 利用 测试 用 例 的 执行 过 程 记 录 ， 重 现 操作 过 程 和 代码 运行 轨迹 ， 为 缺陷 定位 提供 类 似 于 代码 调试 的 辅 
助手 段 。 


2) 缺陷 修复 。 要 求 代码 修改 完成 后 ， 快 速 挑 选 相关 用 例 、 搭 建 测试 环境 、 完 成 测试 执行 ， 尽 可 能 迅速 地 验证 缺陷 是 否 正确 
修复 。 集 成 工具 需要 具备 以 下 功能 : 


` 测试 用 例 管理 和 执行 工具 一 一 完成 相关 用 例 的 自动 挑选 。 建 立 了 测试 用 例 和 代码 关联 关系 的 、 可 以 根据 修改 的 代码 筛选 用 
例 ; 建立 了 测试 用 例 和 缺陷 关联 关系 的 、 可 以 根据 缺陷 筛选 用 例 ; 建立 了 测试 用 例 和 特性 或 需求 关联 关系 的 、 可 以 根据 需求 或 特 
性 筛选 用 例 。 


* 环境 管理 工具 一 一 实现 按 特性 提供 环境 ， 环 境 的 搭建 、 配 置 、 数 据 准备 等 工作 自动 完成 。 


` 编码 和 调试 工具 一 一 在 测试 用 例 执行 过 程 中 ， 可 同步 跟踪 代码 运行 过 程 ， 在 全 部 测试 用 例 执行 完成 后 ， 可 显示 新 增 、 修 改 
代码 覆盖 情况 ， 方 便 针 对 测试 用 例 未 窗 盖 到 的 代码 补充 用 例 ， 或 分 析 风 险 。 


3) 提交 代码 。 要 求 开发 工程 师 提 交代 码 入 库 时 ， 触 发 提交 构建 (和 每 日 构建 类 似 ， 但 自动 化 执行 的 测试 用 例 较 少 ， 仅 执行 
与 提交 代码 强 相 关 的 测试 用 例 ， 提 交 构 建 应 该 在 最 多 半 小 时 之 内 返回 构建 结果 ) ， 确 认 修改 的 代码 不 会 引起 构建 失败 。 集 成 工具 
需要 具备 以 下 功能 : 


“ 构建 和 持续 集成 工具 一 一 支持 各 种 类 型 的 构建 (提交 构建 、 每 日 构建 、 发 布 构建 ) ， 不 同类 型 的 构建 有 各 自 的 步骤 和 测试 
用 例 的 范围 ， 使 各 种 构建 都 满足 相应 的 时 间 要 求 。 


4) 缺陷 回归 测试 。 缺 陷 回 归 测 试 时 ， 需 要 针对 修改 后 的 特性 设计 新 的 测试 用 例 ， 以 评估 新 方案 是 否 正 确 ; 需要 回归 上 次 执 
行 失败 的 用 例 ， 以 评 佑 缺陷 带 来 的 所 有 问题 是 否 都 已 解决 ;需要 回归 本 特性 和 其 他 相关 特性 的 基本 功能 测试 用 例 ， 以 评估 修改 代 
码 对 本 特性 或 相关 特性 是 否 产生 意外 的 影响 ， 需 要 回归 本 特性 相关 的 DFX 测 试用 例 ， 以 评 佑 修改 代码 是 否 对 性 能 等 DFX 属 性 产生 
意外 的 影响 。 通 过 这 些 验 证 后 ， 缺 陷 才 能 够 正常 天 闭 。 除 了 新 增 用 例 ， 其 他 需要 回归 的 用 例 ， 都 通过 测试 用 例 管理 和 执行 工具 ， 
实现 根据 代码 或 特性 的 用 例 筛选 。 


缺陷 快速 修复 ， 在 分 层 开发 的 解决 方案 中 特别 具有 挑战 。 解 决 方案 测试 中 发 现 的 缺陷 ， 需 要 首先 定位 到 原子 产品 ， 然 后 才 由 
原子 产品 进行 代码 级 别 的 定位 。 代 码 修改 后 ， 需 要 在 原子 产品 和 解决 方案 都 验证 通过 ， 才 能 算 缺 陷 被 修复 。 原 子 产 品 除了 需要 保 
障 自己 产品 的 自动 化 框架 稳定 、CI 正 常 稳 定 运行 ， 还 要 参与 解决 方案 自动 化 和 CI 的 设计 和 问题 解决 。 


特性 经 常会 由 于 新 增 需 求 或 修改 缺陷 发 生变 更 。 变 更 发 生 时 ， 除 了 需要 根据 变更 内 容 来 设计 和 修改 测试 用 例 ， 还 需要 确认 变 
更 是 否 产生 了 不 该 有 的 影响 ， 这 就 涉及 如 何 挑选 老 用 例 进行 回归 测试 的 问题 。 


挑选 者 用 例 的 技术 ， 除 了 常见 的 头脑 风暴 法 ， 目 前 已 知 的 技术 包括 : 
" 利用 系统 剖析 (anatomy) 图 管理 特性 关联 关系 ， 当 特性 变更 时 ， 将 关联 特性 的 测试 用 例 也 挑选 出 来 进行 回归 测试 。 
. 建立 用 例 和 代码 的 映射 关系 ， 当 特性 变更 导致 新 增 或 修改 代码 时 ， 将 执行 这 些 代码 的 用 例 挑 选 出 来 进行 回归 测试 。 


. 建立 用 例 和 接口 的 映射 关系 ， 当 特性 变更 导致 特性 的 对 外 接口 发 生 结构 、 参 数 、 时 序 等 方面 的 变化 时 ， 将 执行 这 些 接口 调 
用 代码 的 用 例 挑选 出 来 进行 回归 测试 。 (这 个 目前 还 是 一 个 思路 ， 没 有 完整 的 实践 。) 


除了 头脑 风暴 法 ， 其 他 的 方法 都 可 以 实现 自动 化 的 用 例 挑选 。 


10.2.3 ”测试 架构 的 目标 工作 场景 
从 我 们 测试 团队 的 实践 看 ， 测 试 架 构 可 预见 的 目标 是 ， 支 持 测试 实现 : 版 本 快速 稳定 、 质 量 随时 可 视 。 


版 本 快速 稳定 指 ， 整 个 开发 过 程 质量 得 到 很 好 的 控制 ， 各 团队 按 计划 时 间 完 成 设计 、 开 发 、 验 证 和 发 布 ， 完 成 的 工作 成 果 
(设计 、 代 码 、 用 例 等 ) 几乎 没有 返工 现象 ， 经 过 不 超过 3 轮 的 测试 ， 产 品 和 解决 方案 的 新 、 老 特性 都 能 够 达到 发 布 所 要 求 的 
DFX 指 标 、 履 盖 率 、 遗 留 缺 陷 等 质量 要 求 。 产 品 和 解决 方案 交付 用 户 使 用 后 的 一 段 时 期 内 ， 针 对 既 有 特性 的 改进 、 返 工 都 很 少 ， 
用 户 使 用 中 发 现 缺陷 的 数量 和 级 别 也 符合 质量 要 求 。 


质量 随时 可 视 指 : 从 项 目 启动 开始 ， 持 续 统计 、 分 析 和 发 布 与 项 目 质量 、 产 品质 量 有 关 的 数据 ， 使 研发 团队 基于 数据 开展 相 
应 的 管理 工作 。 对 内 将 质量 、 进 度 和 风险 持续 约束 在 可 控 范围 内 ， 对 外 持续 建立 客户 对 产品 的 信心 。 


版 本 快速 稳定 ， 是 测试 在 质量 和 效率 方面 的 业务 能 力 的 集中 体现 。 质 量 随 时 可 视 ， 是 测试 在 质量 和 测试 过 程 方面 的 管理 能 
的 集中 体现 。 


如 果实 现 了 版 本 快速 稳定 、 质 量 随时 可 视 ， 测 试 工程 师 一 天 的 工作 可 能 如 图 10-4 所 示 。 


有 有 用 例 执行 不 通过 。 
检查 前 一 天 晚上 CI -进入 自动 化 测试 工具 ， 逐 一 调 出 不 通过 的 用 例 及 其 问题 定位 信息 。 
的 结果 排除 自动 化 脚本 、 配 置 等 问题 后 ， 将 用 例 和 定位 信息 打包 提交 缺陷 单 
PE 点 击 链接 进入 软件 分 析 设计 工具 打开 TI 需求 文档 及 其 模型 ， 
二 务 清单 ， 有: 根据 阶段 、 任 务 、 特 性 从 客户 信息 库 、 测 试 资产 库 检 索 到 参考 信息 ; 
MA 评审 并 在 需求 分 析 工具 上 标记 TI 需求 文档 及 其 模型 的 评审 问题 ; 
TI 特性 需求 分 析 提交 评审 任务 本 
完成 发 起 评审 点 击 链接 进入 测试 分 析 设计 工具 开始 T2 的 应 用 场景 、 业 务 场景 测试 建 模 ， 


调 出 T2 的 需求 文档 、 设 计 文档 及 其 相关 模型 ; 
T2 特 性 设计 初稿 2 根据 特性 从 客户 信息 库 、 测 试 资产 库 检 索 到 参考 信息 ; 
完成 70%， 可 以 同 发 现 T2 的 备 选 流程 、 异 常 处 理 流程 还 不 完整 ， 发 邮件 给 设计 师 确认 进展 


步 启动 测试 设计 后 ， 暂 停 测 试 建 模 

0 进入 环境 管理 平台 ， 按 T3 特 性 测试 需要 申请 自动 化 调试 环境 ; 
T3 特 性 编码 完成 申请 使 用 配置 库 包含 T3 代 码 编译 的 临时 版 本 ， 并 安装 到 调试 环境 中 ， 
70%， 基 本 业务 场景 进入 测试 分 析 设 计 工 具 ， 打 开 T3 测 试 模 型 ， 生 成 业务 场景 基本 自动 化 用 例 ; 


已 经 调试 通过 ， 可 以 一 一 进入 自动 化 测试 工具 ， 导 入 T3 的 业务 场景 基本 自动 化 用 例 ， 连 接 到 包含 
进行 自动 化 工具 调试 T3 功 能 的 环境 开始 调试 自动 化 工具 ; 
接口 对 接 和 业务 场景 调试 都 比较 顺利 ， 提 交 测试 工具 和 业务 场景 基本 自动 
化 用 例 到 开发 CI 环境 ， 接 下 来 开发 可 以 使 用 这 套用 例 和 工具 进行 功能 验证 


T4 特 性 完成 开发 ， 

正在 进行 第 一 轮 自 点 击 链接 进入 质量 管理 系统 ， 发 现 T4 的 第 一 轮 自动 化 测试 已 经 完成 ; 

动 化 测试 一 、、 ”查看 T4 的 用 例 密度 、 用 例 通 过 、 代 码 覆 盖 情 况 ， 发 现 覆 盖 率 偏 低 ; 
今天 已 经 到 下 班 时 间 了 ， 明 天 一 早 再 根据 未 覆盖 代码 看 看 是 不 是 测试 遗漏 
了 什么 重要 测试 内 容 


图 10-4 ”版 本 快速 稳定 十 质量 随时 可 视 实现 后 的 工作 场景 示例 
首先 ， 分 析 版 本 快速 稳定 所 需 的 测试 能 力 。 


在 对 研发 过 程 、 客 户 问题 进行 分 析 后 ， 得 到 影响 版 本 快速 稳定 的 测试 能 力 的 原因 ， 如 图 10-5 所 示 。 


和 


功能 和 DEFX， 应 用 场景 ， 镜 像 测 试 的 测试 设计 、 执 行 、 自 动 化 《35 ) 


图 10-5 测试 能 力 影 响 版 本 快速 稳定 


影响 版 本 快速 稳定 的 主要 问题 有 : 


1) 需求 分 析 。 需 求 分 析 太 简单 ，5W1H 信 息 不 完整 ， 很 多 “一 句 话 ”的 需求 ， 导 致 测试 只 能 验证 设计 ， 无 法 真正 验证 需 
求 ， 很 多 需求 实现 的 错误 到 客户 验收 才 发 现 。 需 求 变更 后 设计 、 实 现 和 测试 没有 同步 变更 ， 导 致 在 开发 后 期 才能 开始 测试 设计 ， 
进度 过 于 紧张 影响 测试 设计 质量 。 


2) 开发 者 测试 。 新 功能 开发 或 缺陷 修改 后 ， 开 发 工程 师 在 环境 准备 、 接 口 模拟 或 仿真 上 存在 困难 ， 导 致 开发 者 测试 的 覆盖 
率 低 。 老 代码 的 单元 测试 用 例 缺 少 维护 机 制 ， 未 能 重用 ， 老 代码 缺少 代码 层 的 质量 守护 机 制 。 


3) 缺陷 修复 。 缺 陷 定位 依赖 在 测试 环境 重 现 、 跟 踪 ， 缺 陷 代码 修改 后 的 黑 盒 测 试验 证 ， 缺 陷 修复 整体 效率 低 。 代 码 修改 后 
的 验证 机 制 不 健全 、 覆 盖 不 完整 ， 缺 陷 修改 容易 引入 新 缺陷 。 


4) 测试 策略 。 需 求 和 设计 评审 、 单 元 测试 等 活动 发 现 的 缺陷 很 少 ， 缺 陷 的 发 现 过 于 依赖 系统 测试 ， 研 发 整体 效率 不 高 ， 风 
险 聚 集 在 研发 后 端 。 性 能 测试 、 业 务 场景 和 应 用 场景 的 测试 开始 得 太 迟 ， 一 些 需 要 变更 设计 方案 才能 解决 的 重要 问题 ， 在 测试 后 
期 才 发 现 。 解 决 方案 的 基本 功能 的 问题 对 集成 方案 影响 重大 ， 但 相应 的 测试 是 在 原子 版 本 系统 测试 完成 后 才 开始 ， 一 旦 发 现 缺 
陷 ， 则 会 对 原子 版 本 和 解决 方案 版 本 的 设计 造成 巨大 挑战 ， 严 重 拖延 发 布 计 划 。 


5) 迭代 测试 。 新 特性 未 能 尽早 实现 自动 化 测试 、DFX 测 试 自动 化 率 低 ， 每 轮 进 代 只 能 针对 新 增 代码 进行 手工 的 常用 分 支 的 
功能 测试 ， 对 新 特性 的 各 种 分 支 和 有 异常、 特性 的 业务 场景 、 特 性 之 间 的 交互 、 老 特性 的 影响 和 DFX 的 覆盖 都 不 足 ， 大 量 缺陷 遗留 
到 发 布 前 的 系统 测试 才 发 现 。 和 迭代 测试 发 现 的 缺 隐 有 限 ， 开 发 团队 没有 每 轮 和 迭代 清除 全 部 缺陷 的 动力 (无论 进 代 测 试 的 缺陷 是 否 
修改 完 ， 到 发 布 前 都 要 修改 大 量 的 缺陷 ) ， 带 病 迭 代 〈 带 着 严重 问题 进入 下 一 轮 和 迭代 ) 的 现象 很 普遍 ， 敏 捷 开 发 并 没有 带 来 质量 
和 效率 的 提升 。 


6) 系统 测试 。 解 决 方案 的 测试 手段 缺乏 ， 难 以 模拟 客户 真实 的 网 络 环境 、 应 用 场景 、 操 作 过 程 等 ， 导 致 测试 得 到 的 质量 结 
论 和 客户 使 用 感知 到 的 产品 质量 偏差 较 大 。 一 些 看 来 是 “基本 功能 ”的 问题 被 遗留 到 客户 使 用 才 发 现 。 性 能 、 可 靠 性 、 安 全 性 等 
测试 手段 不 完备 ， 部 分 测试 手段 不 能 模拟 真实 应 用 的 情况 ， 导 致 得 到 的 测试 结论 错误 ,缺陷 被 遗漏 。 


7) 商用 评估 。 只 能 统计 代码 级 别 的 测试 覆盖 率 ， 这 样 的 评估 指标 无 法 衡量 特性 交互 、 业 务 场 景 、 应 用 场景 、DFX 等 系统 测 
试 的 充分 性 ， 也 无 法 稀 量 解决 方案 测试 的 充分 性 ， 产 品 的 质量 评估 缺乏 “测试 是 否 充 分 ”的 客观 依据 ， 结 论 的 可 信和 度 存 在 问题 。 


这 些 问题 中 ， 有 一 部 分 前 面 的 内 容 已 有 涉及 ， 如 表 10-2 所 示 。 


表 10-2 影响 版 本 快速 稳定 的 问题 及 其 解决 方法 


活 动 需要 构建 的 测试 能 力 
beet 
需求 分 析 i Ani ) 基于 需求 测试 (参见 10.2.1 节 “ 基 于 需求 测试 
i > 于 2 ) ee 恋 和 更 不 同步 a 识 会 = [EL 
人 试 架构 ”) 
开发 者 测试 测试 内 容 少 ， 履 盖 率 低 
缺陷 修复 ) 缺陷 修复 效率 低 ; 缺陷 快速 修复 (参见 10.2.2 节 “ 缺 陷 快 速 修复 的 
0 2 ) 缺陷 修改 后 开发 者 验证 不 充分 | 测试 架构 ”) 
1 ) 前 端 测 a (参见 7.1.1 节 “测试 尽早 开展 : 全 
1 ) 研发 前 端 发 现 缺 陷 少 ; ed 
测试 策略 2 ) 性 能 、 场 景 等 测试 开始 得 太 迟 ; Er 参见 7.1.2 节 “ 测 试 尽早 开展 : 
3 ) 解决 方案 测试 开展 得 太 迟 ean 
3 ) ete 
1 ) 提升 自动 化 能 力 ; 
a 1 ) 自动 化 实现 太 迟 ; 2 ) 提升 每 日 构建 的 测试 覆盖 率 
迭代 测试 
2 ) 带 病 迭代 (参见 7.1.4 节 “测试 充分 性 快速 提升 : 老 代 码 持 
续 验 证 
) 测试 的 质量 结论 和 客户 感知 
和 提升 测试 仿真 度 (参见 7.2.2 节 “ 客 户 视角 的 产品 
系统 测 试 is 质量 评估 ”) 
页 量 旭 
2 ) DFX 测试 手段 仿真 度 不 够 。 | " 
商用 评估 测试 充分 性 无 法 衡量 
未 涉及 的 内 容 如 下 : 


` 测试 充分 性 无 法 衡量 。 目 前 没有 通过 实践 检验 的 解决 方法 。 

* 开发 者 测试 覆盖 率 低 。 虽 然 有 技术 问题 ， 但 是 更 多 是 缺乏 解决 问题 的 主观 意识 和 动力 。 

* 高 度 协 同 的 测试 策略 ， 是 解决 方案 和 原子 产品 之 间 达 成 一 致 的 测试 策略 ， 也 是 尽早 开展 解决 方案 测试 、 并 减少 元 余 的 一 种 
措施 。 

分 层 开 发 的 复杂 解决 方案 常常 涉及 多 团队 、 多 层次 的 测试 ， 在 测试 策略 上 的 高 度 协 同 ， 主 要 是 避免 由 于 产品 分 层 的 增加 、 解 


决 方案 的 复杂 性 的 增加 ， 导 致 了 重复 、 宛 余 的 测试 。 使 测试 活动 占 整 个 研发 的 工作 量 和 周期 比例 ， 与 一 般 的 产品 没有 显著 的 区 
别 。 


想 要 达成 协同 的 测试 策略 ， 需 要 做 到 几 点 


1) 需求 同 源 。 原 子 产品 和 解决 方案 产品 的 测试 团队 ， 在 相同 的 产品 信息 管 治平 台 上 管理 和 获取 需求 信息 ， 共 同 洪 清 需求 和 
设计 ， 对 客户 、 特 性 需求 、 应 用 场景 、 特 性 实现 的 高 层 设计 方案 等 信息 都 有 一 致 的 理解 。 


2) 按 特性 开发 。 解 决 方案 产品 的 特性 和 原子 产品 的 特性 建立 了 分 解 、 关 联 关 系 。 当 解决 方案 某 个 特性 相关 的 原子 产品 特性 
全 部 开发 完成 ， 解 决 方案 即 可 以 启动 特性 测试 ， 这 样 解决 方案 的 测试 也 可 以 在 迭代 开发 过 程 进行 ， 不 必 等 到 所 有 原子 产品 全 部 开 
发 完成 后 再 启动 测试 。 

3) 测试 策略 一 致 。 原 子 产品 和 解决 方案 产品 的 各 团队 ， 使 用 的 是 同一 份 测试 策略 。 测 试 策略 由 各 产品 测试 TSE 共 同 制 定 和 


执行 ， 测 试 策略 统一 安排 了 所 有 产品 和 解决 方案 的 测试 范围 和 重点 ， 以 及 各 项 测试 内 容 的 先后 顺序 。 范 围 上 各 团队 各 有 侧重 ， 既 
没有 太 多 重合 ， 也 没有 衔接 不 上 的 空隙 ; 顺序 上 能 够 保证 各 个 团队 并 行 开 展 工作 ， 同 时 也 没有 基础 功能 缺陷 影响 集成 效率 。 缺 陷 


修复 的 原则 也 需要 在 原子 产品 和 解决 方案 之 间 、 在 研发 各 角色 之 间 达 成 一 致 。 一 旦 发 现 缺陷 修改 工作 量 大 ， 或 者 有 重要 的 缺陷 必 
须 马 上 修改 ， 就 需要 让 新 特性 的 开发 暂停 ， 先 还 旧账 。 


4) 跨 产 品 业务 专 才 。 解 决 方案 层面 的 重要 特性 应 该 具有 掌握 以 下 能 力 的 跨 产 品 业务 专 才 同时 熟悉 解决 方案 的 整体 设计 
和 原子 产品 的 具体 实现 ， 在 研发 测试 时 ， 可 以 作为 测试 活动 的 负责 人 ， 统 筹 安排 原子 产品 及 解决 方案 测试 的 范围 、 时 间 、 方 法 ， 
尽量 减少 重复 测试 ， 在 客户 测试 (体验 、 验 收 等 ) 时 ， 能 够 负 起 完全 的 责任 ， 解 决 场景 设计 、 环 境 保障 、 故 障 快速 排除 的 问题 。 


版 本 快速 稳定 是 测试 业务 能 力 的 集中 体现 ， 拦 截 缺 陷 、 提 供 数据 、 过 程 可 控 也 同样 是 基础 。 版 本 快速 稳定 所 需 的 能 力 如 图 
10-6 所 示 。 

其 次 ， 分 析 质 量 随 时 可 视 所 需 的 测试 能 力 。 

质量 随时 可 视 有 两 层 含 义 : 质量 可 视 ， 即 形成 了 研发 团队 一 致 认可 的 质量 标志 性 数据 ; 随时 可 视 ， 即 从 研发 活动 开始 ， 质 量 
标志 性 数据 就 在 持续 刷新 ， 随 时 可 查询 。 

质量 标志 性 的 数据 包含 两 个 方面 : 一 个 是 度量 数据 ;一 个 是 需要 特别 关注 的 风险 。 


传统 思路 下 ， 度 量 方面 的 标志 性 数据 可 能 来 源 于 : 测试 覆盖 的 情况 〈 目 前 比较 容易 获得 的 是 代码 覆盖 ， 但 是 这 个 数据 很 片 
面 ) ; 缺陷 发 现 、 解 决 的 密度 和 趋势 ; 计划 完成 率 、 延 迟 的 情况 ;工作 量 投入 的 情况 、 与 计划 的 偏差 ; 产品 主要 指标 的 实测 情 
况 ; 线 上 问题 、 客 户 体验 问题 闭环 比例 和 趋势 等 。 具 体 选择 哪些 作为 标志 性 数据 ， 需 要 根据 项 目 当前 的 主要 风险 ， 以 及 想 在 项 目 
中 落实 的 改进 来 确定 ， 数 据 项 最 好 限制 在 5~ 7 项 以 内 ( 太 少 不 系统 ， 太 多 失去 焦点 ) 。 


需求 准确 实现 


基于 需求 测试 


代表 客户 测试 


客户 视角 的 质量 评估 


提供 数据 拦截 缺陷 测试 过 程 可 控 


图 10-6 版 本 快速 稳定 需要 的 能 力 


比较 先锋 的 思路 是 ， 通 过 大 数据 分 析 建 立 质量 、 进 度 、 成 本 之 间 的 关联 关系 ， 如 ， 质 量 风 险 的 类 别 、 解 决 时间 与 项 目的 进 
度 ; 项 目的 覆盖 、 缺 陷 、 工 作 量 、 计 划 偏 差 等 数据 ， 在 时 间 轴 上 的 变化 趋势 与 产品 上 线 后 的 质量 表现 。 利 用 大 数据 揭示 出 来 的 天 
系 ， 对 产品 质量 和 进度 进行 风险 预警 。 该 思路 目前 还 处 于 理论 研究 阶段 ， 缺 乏 成 功 实践 。 


质量 的 度量 离 不 开 缺 陷 数据 。 对 于 缺陷 的 统计 ， 常 用 的 做 法 是 按照 CMM 中 的 分 级 进行 分 类 统计 (致命 、 严 重 、 一 般 、 提 
示 ) 。 通 常 把 导致 系统 重启 的 归 为 致命 ， 但 是 ， 某 些 产 品 关 于 事故 的 分 级 定义 也 许 更 值得 借鉴 : 一 级 事故 的 定义 是 影响 x x x 万 
用 户 超过 x x 分 钟 。 从 结果 影响 去 进行 分 级 ， 这 样 的 统计 更 能 让 人 明日 缺陷 的 价值 。 扩 展开 来 ， 比 如 ， 影 响 x x 级 别 用 户 使 用 效率 
的 缺陷 ， 造 成 账 务 不 平 的 缺陷 ， 导 致 xx 特 性 无 法 商用 的 缺陷 等 。 从 这 个 角度 归 类 和 统计 缺陷 发 现 、 解 决 的 密度 和 趋势 ， 更 有 利 
于 推动 重要 缺陷 的 及 时 解决 。 


质量 标志 性 数据 的 另 一 个 方面 一 一 风险 ， 包 括 风险 的 识别 和 跟踪 ， 参 见 4.2 节 “风险 评估 数据 ”。 


质量 数据 随时 可 视 ， 需 要 有 质量 管理 IT 系 统 的 支持 ， 从 研发 活动 启动 开始 ， 有 关 研 发 过 程 、 项 目 结果 的 全 部 基础 度量 数据 ， 
就 能 够 持续 且 无 人 工 介 入 式 地 采集 ， 并 通过 固定 的 数据 发 布 平 台 发 布 ， 数 据 随时 更 新 、 随 时 查询 。 


例如 ， 一 个 设计 方案 发 起 评审 后 ， 评 审 专 家 的 参与 情况 、 缺 陷 提 交 、 确 认 、 修 改 情况 都 随时 可 视 ， 开 发 提交 新 完成 的 代码 
后 ， 单 元 测试 的 覆盖 情况 、 功 能 验证 的 通过 情况 、 发 现 缺陷 及 其 修改 情况 等 ， 都 可 以 第 一 时 间 获 得 ; 测试 启动 特性 测试 后 ， 执 行 
的 进展 情况 、 覆 盖 率 、 缺 陷 发 现 和 解决 的 情况 、 测 试 结果 和 过 程 数据 等 ， 也 能 够 随时 反映 在 度量 数据 中 。 

要 做 到 度量 数据 持续 且 无 人 工 介 入 的 采集 ， 研 发 过 程 管理 的 IT 化 程度 、 集 成 度 必须 很 高 ， 与 产品 分 析 、 设 计 、 开 发 、 测 试 、 
交付 、 客 户 相 关 的 所 有 信息 都 集成 在 产品 信息 管 治平 台 上 。 从 需求 分 析 到 产品 交付 的 研发 项 目 计 划 和 进度 管理 ;研发 各 环节 所 有 
的 文档 编写 、 建 模 、 评 审 、 缺 陷 跟踪 、 风 险 跟 踪 、 阶 段 评估 活动 ; 编码 、 测 试 需要 的 环境 管理 、 代 码 编 写 、 调 试 和 管理 、 测 试用 
例 及 其 执行 数据 管理 ， 全 部 在 研发 平台 上 进行 。 


质量 管理 系统 发 布 的 数据 ， 在 产品 开发 的 早期 以 风险 跟踪 数据 为 主 ;过程 中 加 入 计划 、 工 作 量 、 履 盖 、 缺 陷 数 据 ; 到 项 目的 
后 期 则 是 以 缺陷 解决 、 客 户 问题 跟踪 、 风 险 闭环 、 指 标的 实测 情况 为 主 。 


综 上 所 述 ， 要 达成 版 本 快速 稳定 、 质 量 随时 可 和 视 ， 几 乎 需要 将 现 有 的 全 部 IT 系统 、 工 具 、 底 层 数 据 库 进行 集成 ， 如 图 10-7 所 
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测试 者 视图 


需求 和 设计 评审 | | 测试 建 模 和 测试 设计 | | 测试 执行 和 自动 化 | | 质量 评估 | | 其 他 任务 


IT 系统 


项 目 管理 需求 管理 软件 分 析 设 计 工 具 | | 编码 和 调试 工具 


任务 管理 测试 分 析 设计 工具 | | 测试 用 例 管理 和 执行 工具 


质量 管理 驴 险 管理 环境 管理 工具 构建 和 持续 集成 工具 


产品 配置 库 


测试 配置 库 资产 库 


图 10-7 版 本 快速 稳定 + 质量 随时 可 视 的 集成 方案 


10.2.4 测试 架构 的 建立 


测试 目标 工作 场景 的 测试 架构 是 一 个 庞大 的 工程 ， 和 任何 工程 一 样 ， 测 试 架构 也 是 从 基础 开始 逐渐 积累 出 来 的 。 测 试 在 实现 
自身 价值 、 解 决 自身 问题 的 过 程 中 逐步 形成 了 具有 产品 领域 、 业 务 领域 特色 的 概念 体系 ， 积 累 了 测试 架构 的 基础 组 件 和 集成 方 
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某 。 


6.2 节 “支持 基本 价值 实现 的 测试 架构 ”中 列 出 的 基础 组 件 都 是 一 个 个 的 “孤岛 ”， 每 个 组 件 都 有 各 自 的 功能 和 数据 ， 运 行 
在 不 同 的 服务 器 上 ， 有 不 同 风格 的 用 户 界面 ， 有 各 自 的 权限 控制 ， 使 用 和 配置 方式 也 各 不 相同 。 我 曾经 见 过 一 个 测试 工程 师 在 工 
作 的 时 候 打 开 了 接近 20 个 窗口 ， 有 文档 、 有 工具 ， 也 有 产品 界面 ， 这 无 疑 是 效率 很 低 的 。 


测试 架构 的 集成 方案 ， 就 是 将 各 个 孤立 的 工具 和 信息 集成 到 面向 任务 、 入 口 统一 、 数 据 源 一 致 的 系统 之 中 ， 实 现 信息 充分 共 
享 ， 并 且 能 高 效 、 便 捷 地 应 用 。 

不 同 的 测试 团队 面临 的 问题 不 同 ， 就 会 需要 不 同 的 集成 方案 ， 在 这 里 无 法 列举 出 所 有 的 集成 方案 。 但 基础 组 件 的 集成 也 有 以 
下 共性 的 技术 问题 。 

1) 信息 内 容 结构 化 。 测 试 架构 的 基础 组 件 中 ， 相 当 大 的 部 分 是 各 类 文档 内 容 。 有 些 内 容 本 身 就 是 结构 化 的 ， 比 如 测试 用 


例 、 用 例 执行 的 结果 、 风 险 评 估 表 等 。 大 部 分 内 容 是 非 结构 化 文档 ， 比 如 缺陷 报告 、 测 试 方案 、 需 求 规 格 等。 甚至 ， 有 些 还 会 
现 内 容 混杂 的 情况 ， 比 如 包含 多 个 特性 的 测 斌 方案、 包含 多 个 用 例 的 自动 化 测试 脚本 等 。 


要 使 这 些 内 容 可 以 被 集成 ， 就 需要 进行 结构 化 的 处 理 , 例如， 将 混杂 的 内 容 按 确定 原则 进行 拆 分 ; 用 模板 确定 各 种 内 容 的 结 
构 (测试 用 例 模板 ,缺陷 报告 模板 等 ) ; 定义 各 种 内 容 的 属性 标签 〈 该 内 容 属 于 哪个 特性 ， 包 含 哪些 需求 ， 该 内 容 是 测试 方案 还 


是 设计 方案 ) 等 。 


对 信息 内 容 进 行 结构 化 处 理 的 目的 ， 是 为 了 提高 信息 查询 和 使 用 的 效率 。 信 息 内 容 结构 化 ， 是 将 文档 纳入 集成 范围 的 基础 。 
将 非 结 构 化 的 文档 纳入 集成 学 围 ， 仅 仅 只 是 改变 了 文档 的 管理 方式 ， 并 不 会 明显 提高 这 类 信息 的 使 用 率 。 


2) 信息 关联 。 测 试 架 构 的 基础 组 件 中 ， 常 见 的 关联 关系 如 : 有 些 内 容 在 创建 的 时 候 其 主要 属性 就 相同 ， 因 而 比较 容易 建立 
起 天 联 关系 ， 比 如 以 特性 为 中 心 建立 需求 规格 、 设 计 方 案 、 测 试 方案 、 测 试用 例 、 风 险 之 间 的 天 联 关系 。 有 些 内 容 是 由 于 特定 的 
原因 产生 了 关联 ， 比 如 A、B、C 客 户 采 用 了 组 网 方案 NX， 其 他 客户 采用 组 网 方案 NY， 特 性 FX 用 于 客户 B、D、F， 那 么 特性 的 测 
试 方案 和 用 例 ， 就 与 环境 安装 配置 模板 有 了 关联 关系 。 


有 些 内 容 之 间 有 很 强 的 关联 关系 ， 但 并 不 方便 建立 和 管理 ， 比 如 执行 特定 用 例 发 现 了 缺陷 ， 但 缺陷 与 用 例 之 间 是 多 对 多 的 关 
系 ， 找 出 引起 用 例 执 行 失败 的 所 有 缺陷 ， 以 及 受 缺 陷 影响 的 全 部 用 例 并 不 容易 ; 又 比如 执行 用 例 履 盖 了 代码 和 外 部 接口 ， 但 采集 
和 管理 这 些 覆 盖 关 系 ， 并 在 代码 或 接口 修改 时 ， 挑 选 能 够 验证 修改 影响 的 用 例 却 并 不 容易 。 


建立 信息 间 的 关联 天 系 时 ， 最 好 为 信息 定义 一 系列 属性 ， 用 同一 属性 的 相同 取 值 来 确定 关联 关系 ， 而 不 要 采用 让 A 信 息 归 属 
于 B 信 息 的 方式 来 建立 天 联 关 系 。 例 如 设计 方案 、 测 试 方案 归属 于 特性 。 看 上 去 设计 方案 、 测 试 方案 是 针对 某 个 具体 特性 的 ， 让 
测试 方案 归属 于 这 个 特性 没有 什么 不 受 。 但 是 在 使 用 中 就 会 发 现 问题 ， 比 如 : 

测试 设计 方案 中 会 提出 测试 工具 需求 ， 在 测试 设计 结束 后 ， 需 要 把 所 有 的 测试 工具 需求 汇总 ， 进 行 工具 的 需求 分 析 和 设计 。 
这 时 要 把 提出 了 工具 需求 的 测试 方案 找 出 来 ， 就 需要 遍历 庞大 的 特性 树 ， 这 样 做 的 效率 不 高 。 


性 能 、 可 靠 性 等 专项 的 测试 方案 是 针对 整个 系统 的 ， 很 难 归属 到 某 一 个 具体 的 特性 。 这 样 ， 就 会 有 一 些 信息 是 游离 在 主要 管 
理 架构 之 外 的 。 


即使 是 用 例 与 缺陷 这 种 看 上 去 归属 关系 很 明显 的 信息 ， 如 果 采 用 归属 的 方式 来 建立 关联 关系 ， 也 一 样 有 类 似 的 问题 一 有 
些 缺 陷 不 是 执行 某 个 用 例 发 现 的 ， 大 部 分 缺陷 都 会 使 不 止 一 个 用 例 执行 失败 。 


通常 情况 下 ， 为 信息 增加 属性 ， 通 过 属性 建立 关联 关系， 这 种 方式 具有 更 好 的 适用 性 和 灵活 性 。 当 然 这 不 是 绝对 的 ， 比 如 用 
例 和 代码 的 关联 关系 ， 如 果 采 用 属性 天 联 方 式 就 不 可 行 ， 如 果 为 每 个 用 例 和 代码 块 (或 行 ) 标注 属性 则 标注 工作 量 太 大 ; 如 果 为 
一 组 用 例 和 代码 标注 属性 则 根据 代码 挑选 的 用 例 数 量 很 多 ， 关 联 关系 的 价值 不 大 。 


建立 信息 之 间 关 联 天 系 ， 通 常 需要 开发 相应 的 工具 ， 以 实现 关联 关系 的 建立 、 管 理 和 使 用 ， 但 建立 关联 关系 时 ， 最 重要 的 工 
作 绝 不 工具 的 开发 。 例 如 ， 以 特性 为 中 心 建 立 需求 规格 、 设 计 方 案 、 测 斌 方案、 测试 用例、 风险 之 间 的 关联 关系 。 这 要 求 研发 团 
队 分 析 确 定 产品 的 特性 全 集 ， 对 这 个 特性 全 集 进行 管理 ， 并 持续 更 新 ;在 每 个 项 目的 需求 分 析 中 ， 确 定 需求 归属 的 特性 。 因 此 这 
项 改进 最 大 的 难度 是 推动 研发 团队 转变 需求 的 管理 方式 ， 而 不 是 工具 开发 。 想 要 使 设计 和 开发 团队 参与 这 项 工作 ， 工 作 就 不 能 仅 
仅 服 务 于 “方便 开发 人 员 、 测 试 人 员 能 查询 到 需求 的 全 部 信息 ”这 样 的 目标 ， 而 必须 是 与 研发 质量 或 效率 有 关 的 目标 ， 比 如 “ 缩 
短 从 需求 提出 到 商用 的 周期 ”。 因 此 ， 信 息 关 联 关系 的 建立 ， 通 常 是 跟随 研发 改进 项 目 进 行 的 。 


测试 架构 的 基础 组 件 之 间 建 立 关联 关系 的 目的 ， 是 让 多 种 类 型 的 信息 服务 于 特定 的 目的 。 比 如 ， 将 开发 、 测 试 的 信息 按 特 
性 、 按 需求 关联 ， 是 为 了 产品 研发 过 程 不 偏离 用 户 需求 ; 将 缺陷 与 用 例 关 联 ， 是 为 了 对 修改 进行 全 面 验证 ， 防 止 产品 质量 随 着 不 
断 的 修改 缺陷 而 逐步 劣化 、。 


言 息 之 间 的 关联 关系 是 组 件 集 成 的 重点 。 测 试 架 构 的 组 件 集成 方案 ， 就 是 利用 信息 之 间 的 关联 关系 ， 才 能 提纲 者 领地 将 服务 
于 特定 目的 的 信息 都 抓 取出 来 。 


3) 在 完成 信息 内 容 的 结构 化 ， 在 各 组 件 管理 的 信息 之 间 建 六 了 关联 关系 后 ， 可 以 采用 成 熟 的 集成 染 构 ， 例 如 SOA (面向 服 
务 的 架构 ) ， 来 实现 组 件 之 间 的 数据 交换 、 工 具 之 间 的 互 操作 ， 形 成 支持 具体 研发 活动 的 解决 方案 。 


目前 ,测试 团队 期 望 通过 组 件 集成 解决 的 问题 ， 例 如 ， 产 品 竞争 力 评 佑 、 测 试 成 本 降低 、 测 试 效率 提升 、 测 试 准确 性 提升 的 
难题 ， 确 保 问题 尽早 发 现 ， 风 险 提 前 识别 和 控制 。 (参见 5.4.4 节 “从 任职 资格 标准 的 演变 看 测试 价值 ”中 对 2013 版 任职 资格 标 
准 的 介绍 。) 


我 们 的 测试 团队 对 测试 架构 的 理解 还 在 更 新 中 ， 可 以 这 么 认为 : 当 测 试 的 外 延 扩 大 的 时 候 ， 测 试 架构 也 会 有 相应 的 变化 ; 当 
测试 有 新 的 课题 需要 克服 的 时 候 ， 测 试 架构 也 会 有 调整 的 需要 。 质 量 相关 的 改进 ， 通 常 需 要 信息 整合 ， 效 率 相 天 的 改进 ， 通 常 需 
要 工具 集成 。 


10.3 ”价值 拓展 的 辅助 工具 


10.3.1 用 TPI NEXT 模 型 确定 需要 开展 的 工作 


到 此 为 止 ， 本 书 介绍 了 我 们 的 测试 团队 实践 过 的 基础 和 扩展 价值 ， 以 及 每 个 价值 在 实现 时 最 主要 的 技术 、 技 术 方案 实施 时 最 


需要 注意 的 问题 。 


在 这 些 实践 中 ， 测 试 的 基础 改进 ， 比 如 测试 设计 、 基 于 消息 接口 的 自动 化 、 新 开展 某 种 DFX 测 试 、 新 使 用 工具 等 ， 主 要 依赖 
的 是 技术 。 进 一 步 的 改进 和 价值 实现 ， 比 如 RBT、 分 层 测 试 和 质量 保障 、CI (持续 集成 ) 、 缺 陷 管理 和 闭环 改进 等 ， 需 要 在 测试 
的 技术 、 流 程 、 管 理 、 工 具 上 做 系统 的 动作 。 而 对 研发 质量 和 效率 影响 更 大 的 价值 ， 比 如 按 需 求 测试 、 客 户 视角 的 产品 质量 评 
估 、 全 流程 质量 保障 等 ， 除 了 测试 之 外 ， 还 需要 研发 其 他 角色 帮助 开展 一 些 工作 。 


TPI 和 TMAP 是 测试 业界 认可 程度 很 高 的 一 组 模型 。TPI 用 于 评估 ， 发 现 测试 活动 中 需要 改进 的 域 和 需要 开展 的 工作 ， 这 个 模 
型 包含 了 测试 业界 被 广泛 认可 的 最 佳 实践 。TMAP 用 于 指导 如 何 开展 具体 的 工作 ， 包 括 所 需 的 技术 、 工 具 、 模 板 、 检 查 表 、 指 导 


书 等 。 


TPI 的 全 称 是 BDTPI “商业 目标 驱动 的 测试 过 程 改 进 ”。 如 图 10-8 所 示 ， 这 个 模型 定义 了 16 个 测试 的 关键 过 程 域 ， 每 个 关键 


过 程 域 都 有 4 个 成 熟 度 级 别 ， 每 个 关键 过 程 域 的 3 个 成 熟 度 级 别 〈 除 初始 级 以 外 ) 都 有 2~4 个 不 等 的 检查 点 。 某 个 天 键 过 程 域 的 某 
个 成 熟 度 级 别 下 的 全 部 检查 点 都 满足 ， 则 认为 这 个 天 键 过 程 域 达 到 了 这 个 成 熟 度 级 别 。 


TPINEXT 


关键 过 程 域 
(Key areas ) 


Business-drive 


Clusters 


成 熟 度 级 别 
(Maturity levels ) 


Base Clusters 


检查 点 
(checkpoints) 


PE 


改进 建议 

关注 测试 过 程 本 身 的 改进 显示 软件 开发 过 程 中 ， 测 试 过 程 与 其 他 
过 程 间 的 关系 ， 相 互 影响 、 受 益 

图 10-8 TPI 的 关键 概念 


评估 的 时 候 ， 首 先 根据 检查 表 逐 一 访谈 ,确认 每 个 检查 项 是 否 满 足 ， 根 据 检查 表 的 访谈 结果 评估 16 个 关键 过 程 域 的 成 熟 度 
级 别 。 然 后 针对 不 同 的 改进 目标 ， 使 用 Business-drive Clusters 确 定 需要 重点 改进 的 几 个 关键 过 程 域 。 最 后 ， 根 据 Base 
Clusters 确 定 每 个 天 键 过 程 域 下 采取 什么 措施 ， 以 及 措施 的 先后 次 序 。 


TPI 能 够 帮助 测试 团队 确定 ， 达 成 目标 需要 开展 哪些 方面 的 工作 ， 不 仅 是 技术 方面 的 工作 ， 还 包括 管理 和 组 织 方面 的 工作 。 
例如 ， 通 过 TPI 评 估 发 现 ， 想 要 提高 效率 ， 主 要 需要 改进 的 是 : 
产品 的 研发 时 ， 至 少 有 一 个 测试 工程 师 参 与 到 项 目 计划 中 ， 考 虑 了 测试 过 程 和 其 他 过 程 之 间 的 依赖 关系 。 
测试 策略 中 需要 考虑 重复 测试 和 回归 测试 。 
` 所 有 测试 工程 师 需 要 熟知 所 使 用 测试 工具 的 相关 知识 。 


- 环境 在 承诺 的 时 间 提 供给 测试 团队 。 


接 下 来 就 需要 根据 这 些 改进 点 ， 分 析 问 题 根 因 、SWOT、 制 订 具 体 的 措施 和 计划 。 原 则 上 ， 改 进 措施 可 以 在 TMAP 中 找到 答 
案 和 具体 的 指导 。 不 过 从 我 们 的 测试 团队 的 实践 看 ，TPI 和 TMAP 还 是 可 以 分 开 的 ， 对 于 TPI 找 到 的 改进 点 ， 结 合 项 目 本 身 的 情 
况 ， 找 到 方法 进行 改进 也 是 可 以 实现 的 ， 虽 然 方法 不 一 定 “ 最 优 ”。 


10.3.2 ”用 商业 模式 画布 进行 项 目 策划 


利用 前 面 章节 介绍 的 方法 ， 可 以 从 企业 利益 的 角度 找到 合适 测试 团队 去 实现 的 价值 点 ， 并 且 找 到 了 实现 这 个 价值 所 需 的 技 
术 、 需 要 开展 的 工作 。 但 是 想 要 做 成 一 件 事 情 ， 仅 仅 有 这 些 是 远 远 不 够 的 ， 测 试 工程 师 需要 像 思 考 一 项 事业 那样 ， 从 人 、 财 、 物 
等 角度 去 谋划 。 


《商业 模式 新 生 代 》 一 书 中 给 出 的 商业 模式 画布 ， 如 图 10-9 所 示 ， 可 以 作为 项 目 策划 的 模板 。 


客户 客户 
v 关系 细 分 


与 每 个 客户 建立 


主张 


我 们 正在 为 谁 


创造 价值 ? 
哪些 核心 资源 | 么 ? 我 们 正在 帮 客 | 建立 ? 如 何 维持 ?” | 谁 是 我 们 最 重要 
从 伙伴 那里 获取 ? 要 户 解决 什么 问题 ? = 的 客户 ? 
哪些 关键 业 \ 人 渠 
关键 业务 我 们 正在 满足 二 


由 伙伴 执行 ? ”|Z 资源 客户 的 哪些 需求 ? 人 
我 们 正在 给 客 宇 宁 进 
价值 主张 、 ”| 户 提供 哪些 产品 “| 有 效 接触 客户 ? 
渠道 通路 、 客 户 渠道 和 客户 的 例 
关系 各 需要 什么 行程 序 如 何 整合 ? 
资源 ? 


图 10-9 ”商业 模式 分 析 画 布 
在 项 目 策划 阶段 ， 需 要 解决 画布 上 的 这 些 问题 。 
1. 客 户 细 分 
我 们 正在 为 谁 创造 价值 ? 谁 是 我 们 最 重要 的 客户 ? 谁 可 以 从 这 个 目标 中 受益 ? 


测试 改进 项 目的 利益 相干 人 一 般 来 自 于 : 研发 经 理 (决定 研发 的 投资 花 在 哪里 的 人 ) ，SE (决定 做 成 什么 样 的 产品 的 
人 ) ， 开 发 工程 师 (测试 打交道 比较 多 的 人 ) ， 服 务 代表 (和 测试 的 主张 有 交集 的 人 ) ， 产 品 经 理 (对 产品 商业 成 功 负 责 的 
人 ) 。 


列 出 测试 改进 项 目的 利益 相干 人 ( 即 “ 客 户 ”) 名 单 非常 重要 ， 如 果 能 够 在 上 述 角色 中 找到 一 个 同盟 军 ， 那 么 在 资源 申请 、 
寻求 配合 时 就 会 顺利 很 多 。 因 为 一 个 组 织 中 ， 各 种 角色 的 利益 是 相互 制衡 的 ， 测 试 经 理 没有 办 法 解决 的 事情 ， 常 常 对 另 一 个 角色 
来 说 很 容易 。 


2. 价 值 主张 


我 们 该 向 客户 传递 什么 价值 ? 我 们 正在 帮 客 户 解决 什么 问题 ? 我 们 正在 满足 客户 的 哪些 需求 ? 我 们 正在 给 客户 提供 哪些 产品 
和 服务 ? 


在 第 开 部 分 “展露 锋芒 ”中 介绍 的 ， 基 本 上 都 是 测试 的 利益 相干 人 比较 看 重 的 价值 ， 如 果 测 试 团队 要 开展 的 是 这 一 部 分 提 到 
的 那些 工作 ， 这 一 部 分 的 内 容 可 以 提供 很 好 的 思路 。 


如 果 测 试 团队 要 开展 的 是 第 二 部 分 “ 扫 门 前 雪 ” 中 提 到 的 那些 工作 ， 也 可 以 分 析 一 下 ， 这 些 问题 除了 让 测试 很 被 动 ， 是 否 
是 研发 经 理 、 产 品 经 理 、 服 务 主管 的 痛 点 问题 。 通 常 产品 的 进度 、 质 量 出 问题 ， 他 们 是 首先 承受 压力 的 人 。 从 他 们 的 角度 重新 审 
视 测试 工作 的 价值 ， 很 多 时 候 也 确实 能 发 现 测试 改进 项 目 在 目标 设 定 、 方 案 设 计 上 的 不 足 。 


3. 渠 道 通路 
哪些 渠道 可 以 有 效 接触 客户 ”渠道 和 客户 的 例 行 程序 如 何 整合 ? 


由 于 测试 项 目的 “客户 ” 绝 大 部 分 都 是 产品 团队 成 员 ， 接 触 到 “客户 ”并 不 是 难事 ， 通 过 邮件 、 各 种 例 行 会 议 、 面 对 面 沟通 
都 是 可 以 的 。 但 是 想 要 在 和 客户 的 接触 中 成 功 地 传递 价值 、 达 成 共识 、 让 “客户 ”同时 也 成 为 测试 项 目的 赞助 人 ， 那 就 需要 很 好 
的 沟通 能 力 以 及 自身 良好 的 口碑 和 公信 力 。 


测试 项 目 责任 人 的 口碑 和 公信 力 ， 是 取信 于 利益 相干 人 的 重要 条 件 ， 同 时 也 是 聚集 人 脉 、 获 得 帮助 的 重要 条 件 。 


论坛 和 技术 大 会 演讲 、 内 部 培训 、 职 业 证 书 、 协 会 团体 头衔 等 ， 这 些 能 帮助 测试 专家 建立 良好 的 口碑 ， 让 测试 团队 的 能 力 水 
平 得 到 公认 。 如 果 是 行业 协会 的 某 级 别 成 员 ， 或 者 某 些 论坛 的 演讲 专家 则 会 有 更 好 的 公信 力 。 


4. 客 户 关系 

与 每 个 客户 建立 何 种 关系 ”哪些 关系 已 经 建立 ”如 何 维持 ? 

测试 改进 项 目的 主要 成 员 需 要 和 利益 相关 人 形成 良性 的 沟通 互动 ， 并 长 期 维护 这 一 互动 。 
沟通 的 效果 从 差 到 好 依次 是 ， 邮 件 、 电 话 或 在 线 、 面 对 面 沟 通 、 反 馈 式 面对面 沟通 。 


形成 利益 同 嚼 有 一 个 前 提 一 一 项 目 所 确定 的 改进 目标 对 于 双方 都 有 看 得 见 的 、 现 实 的 好 处 ， 而 不 是 测试 单方 面 认为 的 、 
“可 能 ”有 的 、 隐 性 的 好 处 。 目 标的 沟通 ， 尤 其 需要 反馈 式 面对面 沟通 。 


项 目 实施 的 过 程 中 ， 项 目 负 责 人 还 需要 与 利益 相干 人 面对面 沟通 ， 以 确定 进度 报告 、 阶 段 总 结 、 例 外 事项 沟通 的 形式 和 模 
板 ， 这 些 最 好 能 够 和 利益 相干 人 其 他 的 例 行 程序 进行 整合 。 


无 论 测试 改进 项 目 找 谁 做 同盟 ,创造 什么 价值 ， 都 希望 是 建立 长 期 的 伙伴 关系 。 因 此 测试 团队 对 内 需要 做 有 价值 的 事情 ， 持 
续 的 积累 能 力 让 测试 工作 升值 ; 对 外 要 建立 广泛 的 人 脉 ， 抓 住 一 切 机 会 对 研发 团队 成 员 灌输 测试 的 理念 。 


5. 核 心 资源 
价值 主张 、 渠 道 通路 、 客 户 关系 各 需要 什么 资源 ? 


这 里 是 考察 测试 团队 是 否 有 能 力 、 有 资源 、 有 热情 去 实施 后 续 的 工作 。 测 试 改进 项 目 需 要 的 核心 资源 至 少 包括 技术 能 力 、 项 
目 和 设备 、 兴 趣 、 素 质 、 人 际 关系 。 


技术 能 力 。 对 于 软件 测试 这 种 技术 性 的 工作 ， 技 术 (知识 、 技 能 、 经 验 等 ) 方面 的 资源 对 于 实现 价值 主张 是 比较 重要 的 ， 包 
括 : 


务 专家 。 对 于 跨 团 队 合作 的 项 目 ， 这 是 很 重要 的 ， 如 果 没 有 若干 个 为 产品 服务 了 超过 了 5 年 、10 年 的 专家 支持 这 个 项 
目 ， 愿 意 参与 项 目的 工作 ， 那 么 在 方案 设计 和 实施 过 程 中 ， 状 况 不 断 是 很 难免 的 。 


* 组 织 。 需 要 一 个 实体 或 者 虚拟 的 团队 ， 团 队 成 员 各 有 所 长 ， 相 互 配合 。 这 样 才 能 做 成 一 件 事情 。 


. 技术 准备 。 一 个 完整 的 技术 体系 应 该 包含 知识 管理 和 知识 库 、 工 具 、 方 法 、 规 范 。 项 目 准备 阶段 ， 可 能 还 没有 具备 解决 问 
题 所 需 的 全 部 技术 ， 但 是 对 于 做 成 这 件 事 情 所 需要 的 关键 技术 应 该 是 具备 的 。 如 果 这 个 都 没有 ， 那 还 是 先 默默 地 做 前 前 期 分 析 和 准 
备 吧 ， 这 种 属于 很 可 能 沉没 的 成 本 ， 是 很 难 找到 同盟 的 。 


: 流程 ， 在 大 型 的 公司 ， 可 能 对 于 不 同 的 工作 都 有 不 同 的 流程 。 一 般 来 说 ， 即 使 没有 现成 的 流程 要 求 ， 也 需要 明确 在 哪些 时 
间 点 上 ， 需 要 做 哪些 控制 和 沟通 ， 以 免 失 控 。 


项 目 和 设备 。 技 术 项 目 需要 在 产品 研发 项 目 中 实践 ， 通 过 实践 检验 价值 主张 是 否 得 以 实现 ， 因 此 需要 找到 愿意 一 起 实践 的 产 
品 及 其 实验 环境 。 


兴趣 。 在 测试 项 目的 实施 过 程 中 一 定 会 遇 到 很 多 意 想不到 的 困难 ， 而 兴趣 、 信 念 是 不 言 放弃 、 坚 持 下 去 的 内 在 动力 。 如 果 这 
个 项 目的 目标 、 方 法 、 技 术 都 让 你 自己 觉得 无 聊 ， 没 有 乐趣 ， 大 概 也 很 难 做 得 让 别人 满意 ， 让 自己 获得 成 就 感 。 你 也 许 不 一 定 是 
最 爱 这 个 行业 ， 但 是 一 定 要 对 其 中 的 某 些 工作 有 兴趣 


素质 。 对 于 测试 项 目 来 说 ， 这 些 素质 是 非常 重要 的 一 一 沟通 能 力 或 者 说 服 力 ， 学 习 能 力 ， 自 信和 幽默 ， 对 事物 本 质 的 洞察 
力 ， 质 疑 精神 和 批判 性 思维 。 还 应 该 掌握 一 些 方法 ， 如 ， 综 合 的 系统 分 析 方 法 ， 基 本 的 质量 分 析 方 法 。 


人 际 天 系 。 拥 有 哪些 人 脉 资源 。 在 一 个 团队 中 工作 ， 人 脉 关系 是 非常 重要 的 ， 企 业 中 其 实 有 很 多 职责 不 清 的 事情 ， 而 测试 工 
作 想 要 实现 一 些 附 加 的 价值 ， 就 必须 获得 额外 的 资源 ， 这 时 候 人 脉 就 起 决定 性 作用 了 。 多 认识 人 ， 广 结 善 缘 ， 不 怕 麻 烦 别人 也 不 
怕 被 别人 麻烦 ， 这 很 重要 。 


6. 关 键 业 务 


价值 主张 、 通路 、 客 户 关系 各 需要 我 们 做 什么 ? 


测试 改进 项 目 是 通过 做 什么 事情 来 实现 承诺 价值 或 者 目标 的 ? 这 里 说 的 是 一 些 具体 的 工作 ， 有 在 公司 内 的 岗位 上 需要 做 的 工 
作 ， 可 能 就 是 用 TPI 模 型 找到 的 那些 。 也 有 一 些 职责 以 外 的 ， 甚 至 工作 时 间 以 外 的 事情 。 有 些 是 技术 方面 的 工作 ， 有 些 是 沟通 、 
排 兵 布 阵 、 管 理 、 培 训 等 方面 的 工作 。 


需要 注意 的 是 ， 既 然 在 “价值 主张 ”中 考虑 了 利益 相干 人 能 够 获得 的 价值 ， 在 这 里 就 必须 考虑 为 了 实现 那些 价值 ， 有 哪些 原 
本 计划 外 的 事 是 需要 做 的 、 哪 些 计划 外 的 伙伴 是 需要 加 入 项 目的 。 


7. 重 要 伙伴 


谁 是 我 们 的 重要 伙伴 ”哪些 核心 资源 从 伙伴 那里 获取 的 ”哪些 关键 业务 由 伙伴 执行 ? 


哪些 人 需要 成 为 项 目 成 员 、 项 目 赞助 人 。 一 般 除 了 测试 工程 师 ， 项 目 还 需要 有 利益 相干 人 的 参与 ， 最 好 还 能 有 那些 利益 相干 
人 可 以 约束 的 了 、 同 时 也 是 对 项 目 有 帮助 的 人 的 参与 。 


哪些 人 可 以 为 项 目 提供 帮助 ， 包 括 思想 的 启发 、 技 术 的 传授 、 资 源 的 提供 等 。 这 些 人 可 能 来 自 同 事 、 导 师 、 顾 问 、 职 业 圈 、 
朋友 圈 等 。 


10.3.3” 设 定 合理 目标 ， 管 理 预期 


前 面 的 所 有 章节 都 是 围绕 一 一 想 要 在 企业 中 把 测试 的 价值 做 得 更 好 ， 应 该 怎么 设 定 目标 ， 怎 么 找到 重点 ， 怎 么 进行 谋划 。 
本 书 的 最 后 ， 通 过 一 个 TPI NEXT 评 佑 的 实例 说 明 ， 在 做 这 项 事情 中 需要 特别 注意 的 一 点 ， 即 “ 设 定 合理 目标 ， 管 理 预期 ”。 


我 从 05 年 开始 ， 几 乎 每 年 都 会 做 一 个 测试 改进 的 规划 ， 最 初 是 一 个 产品 的 ， 后 来 是 平台 产品 领域 ， 最 后 是 软件 公司 测试 体 
系 。 早 期 做 的 规划 ， 到 年 底 的 时 候 一 半 都 没有 做 完 ， 自 己 反 思 发 现 ， 做 这 项 工作 ， 能 投入 的 资源 没有 计划 的 多 ; 人 的 经 验 没有 计 
划 的 丰富 ; 技术 难度 比 预计 的 高 ; 开发 工作 量 比 预计 的 大 ; 应 用 中 的 问题 比 预 计 的 复杂 。 总 之 ， 做 测试 技术 改进 的 目标 和 计划 ， 
比 做 产品 测试 计划 难 多 了 。 


我 们 的 产品 曾经 请 专家 进行 过 TPI 评 估 ， 当 评估 完成 后 ， 测 试 团队 想 看 看 自己 的 技术 和 管理 能 力 与 业界 最 高 水 平 的 差距 ， 于 
是 专家 给 出 了 电信 和 领域 TPI 评 估 现 状 ， 如 图 10-10 所 示 。 其 中 每 个 评估 维度 上 的 最 佳 水 平 并 非 来 自 于 同一 家 企业 ， 也 就 是 说 ， 这 
是 所 有 成 熟 的 电信 企业 的 最 佳 实践 综合 。 


本 书 介 绍 的 很 多 价值 点 ， 比 如 拦截 缺陷 、 全 流程 质量 保障 ， 测 试 经 理 们 可 能 觉得 要 实现 的 技术 点 也 不 多 ， 差 不 多 2 年 就 可 以 
完成 吧 。 但 是 现实 情况 是 ， 把 所 有 成 熟 的 电信 企业 的 最 佳 实践 综合 起 来 ， 也 还 没有 达到 所 有 域 都 完美 的 程度 ， 而 这 其 中 包含 了 那 
些 大 家 耳熟能详 的 百年 老 店 。 


测试 能 力 提 升 、 测 试 价值 实现 是 一 个 漫长 的 实践 过 程 ， 这 中 间 没 有 门槛 低 、 实 施 快 、 效 果 佳 的 捷径 可 走 。 测 试 的 价值 越 大 、 
越 明显 ， 实 现 起 来 必然 也 越 复杂 ， 所 需 的 资源 、 时 间 、 技 术 很 可 能 远 比 最 初 预计 的 多 得 多 。 
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图 10-10 TITPI 评 估 结 


Key Areas 


作为 测试 的 主管 ， 


需要 通过 各 种 渠道 ， 让 测试 内 部 和 研发 团队 对 测试 团队 的 技术 能 力 提升 有 合理 的 预期 。 为 了 避免 测试 团队 


被 产品 测试 和 技术 提升 这 两 座 大 山 彻底 压 垮 ， 管 理 预期 是 测试 主管 必须 亲自 负责 的 核心 工作 之 一 。 


DFX 


MBT 


RBT 


RCA 


TPI 


TPS 


TSE 


标 称 性 能 指标 


附录 A 名词 解释 


非 功能 性 质量 属性 ， 指 除了 功能 以 外 的 产品 特性 以 及 质量 表 
现 ， 通常 指 性 能 、 可 靠 性 、 可 服务 性 等 。DFX 指标 指 DFX 各 方 
面 能 达到 的 指标 数据 。DFX 测试 指 对 这 些 特性 和 指标 数据 的 测试 


4.1 节 “测试 结果 
数据 ” 


7.1.4 节 “ 测 试 充 
分 性 快速 提升 : 老 代 
码 持续 验证 ” 


基于 模型 的 测试 方式 ， 用 建 模 的 方法 进行 测试 设计 ， 测 试用 例 
和 自动 化 脚本 基于 模型 生成 


基于 风险 的 测试 ， 以 降低 或 消除 风险 为 目标 的 测试 方式 。 这 里 

的 风险 指 技术 风险 ， 即 性 能 可 能 不 达标 、 某 些 用 户 使 用 该 特性 可 能 出 | 4.2 节 “风险 评估 
现 体验 不 一 致 等 。 与 之 相对 的 是 项 目 风险 ， 如 人 员 到 位 迟 、 设 备 老 | 数据 ” 
化 等 


| 3.2 节 “正常 使 用 
分 析 》 各 问题 4 4 常 
根 因 分 析 法 ， 缺 陷 和 客户 问题 分 析 的 常用 方法 中 部 分 出 错 “ 


测试 过 程 改 进 。TPI 和 TMAP 是 测试 业界 认可 程度 很 高 的 一 组 

模型 。TPI 用 于 评估 ， 发 现 需要 改进 的 域 和 需要 开展 的 工作 , 这 | 10.3.1 节 “用 TPI 
个 模型 包含 了 测试 业界 被 广泛 认可 的 最 佳 实践 。TMAP 用 于 指导 | NEXT 模型 确定 需要 
如 何 开 展 具体 的 工作 ,包括 所 需 的 技术 、 工 具 、 模 板 、 检 查 表 、| 开展 的 工作 ” 
指导 书 等 

每 秒 事务 数 (Transactions Per Second)， 事 务 是 指 客户 端 向 服 

务 端 发 送 事务 处 理 请 求 之 后 ， 到 服务 端 完 成 事务 处 理 给 出 反应 的 


4.1 节 “ 测 试 结果 
数据 ” 


过 程 ， 是 衡量 服务 端 性 能 的 主要 指标 之 一 

测试 系统 工程 师 ， 在 测试 团队 中 负责 测试 策略 制定 、DFX 测 | 5.4.4 节 “从 任职 
试 、 流 程 优 化 、 技 术 创 新 、 团 队 技术 能 力 提 升 等 ， 技 术 能 力 要求 | 资格 标准 的 演变 看 测 
较 高 、 较 全 面 的 工作 试 价值 ” 

产品 规格 中 给 出 的 、 产 品 号 称 可 以 达到 的 处 理 能 力 ， 通 常 包括 
压力 和 容量 两 部 分 。 这 是 产品 最 重要 的 规格 之 一 ， 这 个 指标 不 是 
产品 的 最 大 处 理 能 力 ， 而 是 能 够 长 期 、 稳 定 提供 的 处 理 能 力 


测试 方法 


测试 用 例 基 线 


测试 类 型 


测试 评估 


测试 强度 


测试 项 目 过 程 数据 


产品 交付 活动 


故障 模式 库 


基本 用 例 


集成 测试 


解决 方案 


郊 品 分 析 


漏洞 模式 库 


根据 项 目的 范围 、 风 险 和 目标 ,确定 测试 的 覆盖 内 容 、 优 先 
级 ,提出 环境 、 工 具 、 输 入 信息 的 需求 ， 以 及 项 目 各 个 测试 阶段 
的 出 入 口 淮 则 等 。 是 测试 活动 的 总 体 纲 领 


指 进 行 测试 计划 ,测试 策略 分 析 ， 测 试 环境 、 工 具 、 用 例 设 
计 ， 测试 执行 ， 测 试 评估 等 活动 使 用 的 方法 

类 似 代码 基线 ,是 产品 截止 到 某 个 版 本 时 ， 产 品 全 部 测试 用 
例 及 其 测试 结果 的 集合 ， 这 是 产品 下 一 个 版 本 测试 的 基础 ， 故 
称 基线 


软件 测试 的 各 种 角度 ， 业界 对 测试 类 型 有 不 同 的 分 类 维度 ,本 
文 的 测试 类 型 指 功 能 、 性 能 、 可 靠 性 、 安 全 性 等 测试 类 型 

基于 测试 结果 ， 对 产品 的 质量 、 研 发 过 程 的 质量 和 效率 进行 的 
评估 

表示 对 某 个 对 象 进行 测试 时 ,使 用 的 用 例 和 达到 的 覆盖 ， 一般 
以 千 行 代码 用 例 数 来 衡量 。 采 用 多 种 测试 用 例 设计 方法 ， 对 一 种 
用 例 设 计 采 用 更 复杂 的 组 合 材 盖 ， 都 可 以 提升 测试 强度 

产品 研发 项 目 中 , 与 测试 相关 的 计划 执行 、 缺 陷 、 工 作 量 、 覆 
盖 相 关 的 数据 

指 产 品 研 发 和 服务 过 程 中 进行 的 ， 客 户 体验 测试 、 现 场 演示 、 
产品 验收 、 产 品 上 线 、 客 户 培训 等 ， 帮 助 将 产品 顺利 交付 给 客户 
使 用 的 活动 


定义 软件 产品 的 可 能 故障 形式 ， 是 可 靠 性 故障 注入 测试 的 基础 
特性 最 基础 的 测试 用 例 ， 用 于 验证 特性 的 基本 功能 和 业务 流程 
能 够 使 用 

在 单元 测试 的 基础 上 ,将 所 有 的 软件 单元 按照 概要 设计 规格 说 
明 的 要 求 组 装 成 模块 、 子 系统 或 系统 ， 测 试 各 部 分 工作 是 否 达 到 
或 实现 相应 技术 指标 及 要 求 

分 层 开发 的 产品 解决 方案 中 ， 产 品 分 多 个 原子 产品 开发 ， 这 些 
原子 产品 有 些 可 以 独立 销售 用 于 实现 某 一 类 功能 ， 也 可 以 集成 作 
为 一 个 更 高 层 的 产品 或 解决 方案 销售 ， 用 于 形成 整体 解决 方案 


从 功能 、 体 验 和 性 能 等 方面 ， 对 自 研 产 品 和 市 场 上 的 同类 产品 
进行 同 条 件 下 的 对 比 测试 。 目 的 通常 是 为 了 找到 况 品 的 弱点 ,或 
者 是 自 研 产 品 和 标杆 的 差距 

定义 软件 产品 可 能 受到 的 安全 攻击 形式 ,是 安全 攻击 测试 的 
基础 


( 续 ) 
参考 章节 
4.2.4 节 “依托 测 
试 策略 活动 进行 风险 

评估 ” 
5.2 节 “方法 和 工 
具 方 面 的 能 力 ” 


3.1 节 “ 用 户 无 法 
正常 使 用 ” 


3.2 节 “正常 使 用 
中 部 分 出 错 ” 


5.2 节 “方法 和 工 
具 方 面 的 能 力 ” 


4.2 节 “ 风 险 评估 
数据 ” 


4.3 节 “ 测 试 过 程 
数据 ” 


8.2 节 “产品 交付 


33 节 “ 受 攻 击 出 错 " 


3.1 节 “ 用 户 无 法 
正常 使 用 ” 


7.1.1 节 “ 测 试 尽 早 
开展 : 全 程 软件 测试 ” 


5.3 节 “流程 中 国 
化 的 测试 能 力 ” 


72.3 节 “ 竞 品 分 析 ” 


33 节 “ 受 攻 击 出 钳 " 


每 日 构建 


启发 式 


探索 式 测 试 


特性 与 功能 


项 目 型 产品 


需求 类 别 


压力 模型 


业务 场景 


Daily Build， 每 日 自动 地 对 代码 库 的 新 增 代码 完成 单元 测试 、 
编译 和 构建 生成 可 执行 文件 ， 自 动 地 用 新 构建 的 可 执行 文件 更 新 
测试 环境 ,并 用 基本 功能 的 系统 测试 用 例 进 行 冒 烟 测试 。 

每 日 构建 在 每 天 的 一 个 或 多 个 固定 的 时 间 启 动 ， 因 此 称 为 “每 
日 ”构建 。 

在 每 日 构建 的 基础 上 ， 还 衍生 出 来 了 : 

提交 构建 ， 在 代码 提交 的 时 候 启 动 的 构建 ; 

发 布 构建 、 在 版 本 发 布 的 时 候 启 动 的 构建 。 

每 种 构建 的 过 程 类 似 ， 但 执行 的 测试 用 例 范围 不 一 样 ， 发布 构 
建 执行 的 用 例 最 多 ， 提交 构建 执行 的 用 例 最 少 


将 完成 某 个 工作 所 需 的 知识 整理 成 方便 使 用 的 脑 图 、 表 格 等 形 
式 ， 在 工作 中 起 到 启发 思考 、 减 少 遗 漏 的 作用 。 

探索 式 测试 的 启发 式 通常 是 指 一 个 事先 的 分 析 ,， 包含 初步 探索 
点 的 脑 图 


先 根据 输入 信息 和 经 验 整理 出 测试 的 基本 范围 ， 然 后 将 要 测试 
的 内 容 分 成 若干 耗 时 相同 的 任务 ,在 执行 任务 的 过 程 中 采用 边 思 
考 、 边 实施 ; 边 执 行 、 边 观察 ; 边 假设 、 边 求证 的 方式 ,将 用 例 
设计 和 测试 执行 融合 在 一 起 

特性 是 实现 一 个 业务 目标 或 管理 目标 的 一 组 功能 ,通常 特性 可 
以 作为 销售 单元 ， 客 户 在 合同 中 可 以 选择 购买 的 产品 中 是 否 包 含 
某 个 特性 


研发 完成 后 ， 产 品 完全 交 给 客户 自行 使 用 和 运营 。 不 同 客户 使 
用 产品 解决 类 似 的 业务 问题 ， 有 些 特性 相同 ， 也 有 大 最 不 同 的 特 
性 ， 因 此 产品 需要 在 基础 版 本 上 ， 针 对 每 个 客户 进行 特性 开发 


按 需 求 的 成 熟 程度 ,将 需求 分 为 3 类 ， 分别 是 : 

基本 型 需求 , 产品 “必须 有 ”的 属性 或 功能 。 

期 望 型 需求 ,客户 期 望 的 ， 但 不 是 “必须 ”的 产品 属性 或 服务 
行为 。 

兴奋 型 需求 ,完全 出 和 平 意料 的 产品 属性 或 服务 行为 ， 使 用 户 产 
生 惊喜 - 

系统 的 TPS 或 乔 吐 量变 化 的 模式 ， 一般 有 长 时 间 平 稳 、 线 性 增 
大 、 抖 动 、 浪 涌 等 。 例 如 ,抖动 指 单位 时 间 的 业务 请 求 数量 基本 
上 维持 在 同一 水 平 ， 但 偶尔 出 现 明显 的 偏差 


完成 一 次 业务 处 理 的 一 组 操作 ,例如 用 户 开户 、 一 次 网 购 下 订 
单 、 一 个 客户 投诉 的 处 理 等 


1.4 节 “ 微 软 的 软 
件 测试 之 道 ” 


5.2.1 节 “ 测 试 方法 
和 工具 方面 的 能 力 ” 


5.2.3 节 “探索 式 
测试 (ET)vs 剧本 
式 测 试 (ST)” 


5.2.1 节 “测试 方 
法 和 工具 方面 的 能 
力 ” 


5.2.1 节 “ 测 试 方法 
和 工具 方面 的 能 力 ” 


3.1.4 节 “ 测 试用 
例 基线 要 同步 优化 管 
理 和 质量 ” 


( 续 ) 


4.1 节 “ 测 试 结 果 
遗留 缺陷 截止 到 产品 发 布 尚未 修改 的 产品 缺陷 ee 
a 针对 一 个 商业 或 管理 目标 完成 的 业务 处 理 、 运 营 、 管 理 等 一 组 8.1.2 节 “ 端 到 端 
应 用 场景 二 

操作 应 用 场景 测试 
用 例 执 行 过 程 中 记录 的 ， 对 缺陷 的 暴露 、 指 标的 确认 有 帮助 的 | 4.3 节 “ 测 试 过 程 
用 例 执行 过 程 数据 | 。 必 全 执行 过 程 中 i OU i 
数据 数据 
分 层 开发 的 产品 解决 方案 中 ， 产 品 分 多 个 原子 产品 开发 ,这 些 | ,各 启程 由 国 
. a 中 
原子 产品 原子 产品 有 些 可 以 独立 销售 用 于 实现 某 一 类 功能 ， 也 可 以 集成 作 ' 


化 的 测试 能 力 ” 
为 一 个 更 高 层 的 产品 或 解决 方案 销售 ， 用 于 形成 整体 解决 方案 ns 
指 随 着 产品 不 断 发 布 新 版 本 、 增 加 新 功能 ， 出 现 缺陷 越 来 越 多 、 
质量 劣化 指标 越 来 越 差 、 老 功能 越 来 越 不 好 用 等 现象 ， 显 示 研发 对 产品 的 质 
量 已 经 失去 控制 能 力 


缺陷 : 产品 中 存在 的 代码 、 文 档 、 环 境 等 方面 的 错误 。 
故障 : 缺陷 被 激活 时 ， 便 产生 一 个 故障 ， 故 障 是 能 够 被 感知 到 
缺陷 、 故 障 、 失 效 | 的 产品 外 部 行为 的 错误 。 


失效 : 故障 没有 及 时 地 容错 处 理 ， 持 续 积累 扩散 便 导 致 软件 
失效 。 


附录 B 产品 研 友 团 队 组 织 结构 


书 中 部 分 涉及 团队 结构 和 研发 角色 的 内 容 ， 是 假设 研发 团队 主要 包含 的 角色 如 图 B-1 所 示 。 


二 - 服务 代表 
工程 师 


图 B-1 研发 团队 角色 类 型 


让 


工程 师 


研发 经 理 : 负责 研发 团队 管理 ， 对 产品 的 质量 、 效 率 、 成 本 负 和 总体 责任 ， 决 定 研发 的 投资 花 在 哪里 。 


需求 工程 师 : 负责 需求 获取 、 需 求 分 析 、 需 求 定义 、 需 求 及 其 变更 管理 等 ， 是 研发 团队 和 客户 沟通 的 主要 桥梁 。 


系统 工程 师 (SE) : 负责 设计 各 种 系统 平台 和 服务 器 软件 的 架构 和 实现 方案 ， 来 实现 产品 需求 ， 是 决定 做 成 什么 样 的 产品 


的 人 。 产 品 的 DFX 能 力也 是 SE 关 注 的 内 容 之 一 。 
开发 工程 师 : 负责 产品 具体 需求 的 设计 和 实现 ， 是 和 测试 打交道 比较 多 的 人 。 
测试 工程 师 : 负责 产品 各 个 层次 的 测试 ， 但 通常 不 包含 单元 测试 ， 单 元 测试 是 需求 实现 的 工作 之 一 。 
QA: 质量 工程 师 ， 负 责 产 品 研发 过 程 的 质量 分 析 和 改进 。 
服务 代表 : 产品 服务 部 门 在 研发 团队 的 代表 ， 代 表 服 务 主管 参与 研发 的 决策 ， 通 常 是 和 测试 的 主张 有 交集 的 人 。 


市 场 代表 : 产品 市 场 部 门 在 研发 团队 的 代表 ， 代 表 市 场 主管 参与 研发 的 决策 。 


